luckuan

Results 4 comments of luckuan

@keepsimplefocus 自己维护偏移量,会存在丢失数据的可能么?

对于job如何提交的,如何运行的,你可以看看这篇博客 http://www.cnblogs.com/luckuan/p/5250258.html 。 一个job可以生成多个stage,每个stage中间会有一个shuffle过程。@pzz2011

@proflin 每隔batch都会生成一个RDD,只是到windowDStream的时候做了合并,生成UnionRDD或者PartitionerAwareUnionRDD,最后输出一个RDD