DataX icon indicating copy to clipboard operation
DataX copied to clipboard

解决多JobContiner在同一个JVM下时统计报告合并时造成的报告日志为所有JobContiner中的所有任务的报告总合

Open likenamehaojie opened this issue 6 years ago • 4 comments

当把Datax整合到JAVA项目中时并行执行多个JobContiner时由于JobContiner的分组切分没有区别JobId 也就是说保存统计报告的是一个类中的静态Map他的Key 从0到。。。一般为0这样当多个JobContiner启动时就会共用一个储存地址并且key值相同这样多个任务时不能统计到其中一个任务的执行情况

likenamehaojie avatar May 30 '19 05:05 likenamehaojie

CLA assistant check
All committers have signed the CLA.

CLAassistant avatar May 30 '19 05:05 CLAassistant

@binaryWorld 该项目不接受外部提交么?目前已经确定了这次提交能解决多JOBCONTINER共用静态变量的问题 为何不给合并?

likenamehaojie avatar Jun 17 '19 02:06 likenamehaojie

当把Datax整合到JAVA项目中时并行执行多个JobContiner时由于JobContiner的分组切分没有区别JobId 也就是说保存统计报告的是一个类中的静态Map他的Key 从0到。。。一般为0这样当多个JobContiner启动时就会共用一个储存地址并且key值相同这样多个任务时不能统计到其中一个任务的执行情况

我也遇到了相关的问题,最早是多线程的时候reader和writer的plugin会混乱,然后就是读出记录总数的报告也有混乱==!

meoow113 avatar Dec 01 '20 08:12 meoow113

我这样修改是解决了问题。

lihjChina avatar Jul 13 '22 06:07 lihjChina