spoofer
spoofer
不支持HOCON还是比较麻烦
@lw-lin 博主 End-to-end exactly-once 是什么意思，能解析一下吗？
@lw-lin ``` // 【开始执行两个 future、等待两个 future 都结束】 val combinedFuture = storeInBlockManagerFuture.zip(storeInWriteAheadLogFuture).map(_._2) val walRecordHandle = Await.result(combinedFuture, blockStoreTimeout) ``` 这里为什么是等待两个future结束？Await.result 不是等待storeInWriteAheadLogFuture 吗？
博主，这里的checkpoint只是记录了batch开始的信息， 是不是这个batch完成后还有一个回写确认这个batch的jobs已经完成的机制？
@zzcclp 不是的， “Checkpoint 发起的间隔默认的是和 batchDuration 一致；即每次 batch 发起、提交了需要运行的 job 后就做 Checkpoint，另外在 job 完成了更新任务状态的时候再次做一下 Checkpoint。” JobGenerator 类在异步提交jobset后做了一次cp JobScheduler 在jobset成功执行完成后，也做了一次cp 下面是源码 ``` scala // 来自 JobGenerator private def generateJobs(time: Time) { SparkEnv.set(ssc.env)...
@zzcclp 原来是这样啊，good good good
@zhengzhou-spark 因为有两个output，所以产生了两个job， 每个job都要一个线程来运行，这样一来一个批次的数据需要两条线程来运行，所以10个线程可以并发处理5个批次的数据。
> 对外暴露的接口不好改了 改动会影响其他用户 也是
路径加 version 或者是种方法~
> > 路径加 version 或者是种方法~ > > 那代码直接膨胀翻倍了 而且不可能同时触发两次hook 所以挺难搞的