CoolplaySpark icon indicating copy to clipboard operation
CoolplaySpark copied to clipboard

[SS]《1.2 Structured Streaming 之 Output Modes 解析》讨论区

Open lw-lin opened this issue 7 years ago • 5 comments

如需要贴代码,请复制以下内容并修改:

public static final thisIsJavaCode;
val thisIsScalaCode

谢谢!

lw-lin avatar Jan 01 '17 07:01 lw-lin

这是你们画的图... 2017-01-19 3 10 10

这是官网的图

2017-01-19 6 22 03

为什么同样的参数,time 行的间隔时间却不相同

yihaoDeng avatar Jan 19 '17 10:01 yihaoDeng

还是我理解错了??

yihaoDeng avatar Jan 19 '17 10:01 yihaoDeng

@yihaoDeng

是的,这里跟官网的图略不一样。这里两个图里的 arriving records 的时间不一样,所以画出来的 time 行不完全一样,但对于各自的例子都是正确的 —— 本系列文章的 trigger 是 ProcessingTime(10min), 官网的 trigger 是 ProcessingTime(5min)

为什么要跟官网的图不太一样?

因为官网的图没有根据 watermark 画出 append mode 和 update mode 的输出;而如果试图画出时,就发现官网 arriving records 的设置将导致 append mode 在 3 个 batch 内看不到输出。而本系列文章,在对 arriving records 做了调整之后,会在第 3 个 batch 产生输出。官网的例子是当时还没支持 watermark 时就已经存在了,而在后面支持了 watermark 之后没有进行调整。本系列文章则针对性进行了调整。

lw-lin avatar Jan 19 '17 15:01 lw-lin

请问一下,现在这个《1.2 Structured Streaming 之 Output Modes 解析》在哪里?

ZiyueHuang avatar Jun 01 '17 11:06 ZiyueHuang

@ZiyueHuang 没有完成。不过从其他章节里也基本上能看到 Output Modes 的全貌。

lw-lin avatar Jun 02 '17 06:06 lw-lin