CoolplaySpark
CoolplaySpark copied to clipboard
[SS]《1.2 Structured Streaming 之 Output Modes 解析》讨论区
如需要贴代码,请复制以下内容并修改:
public static final thisIsJavaCode;
val thisIsScalaCode
谢谢!
这是你们画的图...
这是官网的图
为什么同样的参数,time 行的间隔时间却不相同
还是我理解错了??
@yihaoDeng
是的,这里跟官网的图略不一样。这里两个图里的 arriving records 的时间不一样,所以画出来的 time 行不完全一样,但对于各自的例子都是正确的 —— 本系列文章的 trigger 是 ProcessingTime(10min)
, 官网的 trigger 是 ProcessingTime(5min)
。
为什么要跟官网的图不太一样?
因为官网的图没有根据 watermark 画出 append mode 和 update mode 的输出;而如果试图画出时,就发现官网 arriving records 的设置将导致 append mode 在 3 个 batch 内看不到输出。而本系列文章,在对 arriving records 做了调整之后,会在第 3 个 batch 产生输出。官网的例子是当时还没支持 watermark 时就已经存在了,而在后面支持了 watermark 之后没有进行调整。本系列文章则针对性进行了调整。
请问一下,现在这个《1.2 Structured Streaming 之 Output Modes 解析》在哪里?
@ZiyueHuang 没有完成。不过从其他章节里也基本上能看到 Output Modes 的全貌。