CoolplaySpark
CoolplaySpark copied to clipboard
lw-lin
酷玩 Spark: Spark 源代码解析、Spark 类库等
如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
这里是 [《3.3 ReceiverTraker, ReceivedBlockTracker 详解.md》](../blob/master/Spark%20Streaming%20源码解析系列/3.3%20ReceiverTraker,%20ReceivedBlockTracker%20详解.md) 讨论区。 如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
自定义RedisZsetReceiver, 读取指定zset结构内的数据piped.zrange(key, 0, -1)，该zset内数据只会新增，不会减少~ 当我提交任务后，定时执行，spark streaming ui上每个batch time处理的record都不同，还不是递增状态？如何能达到想要的效果？目前的目标就是每个batch，就把redis zset结构内的数据全部读取出来；spark streaming这种适合我的场景吗？
如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
这里是 [《2.1 JobScheduler, Job, JobSet 详解.md》](../blob/master/Spark%20Streaming%20源码解析系列/2.1%20JobScheduler,%20Job,%20JobSet%20详解.md) 讨论区。 如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
根据介绍，默认的实现是将state存在hdfs，如果某个算子的某个分区的某个版本失败，那么会重新读取存档的分片数据，进行重写。但是如果在end端，如果没有幂等性和事务，一个分区的数据写入一部分后失败了，应该是会重试整个分片吧。那之前写入的那部分还是会出现重复。请问里面提到的end-to-end exactly-once 是怎么得来的呢？
如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
如需要贴代码，请复制以下内容并修改： ```java public static final thisIsJavaCode; ``` ```scala val thisIsScalaCode ``` 谢谢！
structured streaming 程序运行一段时间会出现如下这个错误，请问是什么原因导致出现这个异常呢 User class threw exception: org.apache.spark.sql.streaming.StreamingQueryException: Job aborted due to stage failure: Task 123 in stage 1.0 failed 4 times, most recent failure: Lost task 123.3 in stage...
