DataX
DataX copied to clipboard
解决多JobContiner在同一个JVM下时统计报告合并时造成的报告日志为所有JobContiner中的所有任务的报告总合
当把Datax整合到JAVA项目中时并行执行多个JobContiner时由于JobContiner的分组切分没有区别JobId 也就是说保存统计报告的是一个类中的静态Map他的Key 从0到。。。一般为0这样当多个JobContiner启动时就会共用一个储存地址并且key值相同这样多个任务时不能统计到其中一个任务的执行情况
@binaryWorld 该项目不接受外部提交么?目前已经确定了这次提交能解决多JOBCONTINER共用静态变量的问题 为何不给合并?
当把Datax整合到JAVA项目中时并行执行多个JobContiner时由于JobContiner的分组切分没有区别JobId 也就是说保存统计报告的是一个类中的静态Map他的Key 从0到。。。一般为0这样当多个JobContiner启动时就会共用一个储存地址并且key值相同这样多个任务时不能统计到其中一个任务的执行情况
我也遇到了相关的问题,最早是多线程的时候reader和writer的plugin会混乱,然后就是读出记录总数的报告也有混乱==!
我这样修改是解决了问题。