flink-training-course 使用window 后追数据的问题如何解决

使用window 后追数据的问题如何解决

Open zyl891229 opened this issue 5 years ago • 2 comments

使用window 例如五分钟一个固定窗口如果save任务后过几个小时再去追数据，重启的时候source会大量涌进来数据（暂停的几个小时数据有很多），在这种情况会不会使窗口提前关闭（后面的数据先进来了），导致很多本该计算在这个个窗口的数据没有计算进来，最后结果的错误，这种情况如何解决？

Oct 16 '19 04:10 zyl891229

尝试使用Event Time

Oct 21 '19 07:10 RuoyuDai

首先kafka 单分区的数据是有顺序的，其二可以设置时间属性为 event time，这样开的window是事件的时间，而不是处理时间，就不会你说的很多数据都落在同一个窗口中

Feb 29 '20 08:02 zhisheng17