sunshine18271865225

Results 2 comments of sunshine18271865225

我的实际情况是同一时刻开了2个datax同时跑,两个datax的读写表都不一样,知识最后的统计数据有异常

我已经改完了。忘记关闭这个issue了。和您说的方案差不多,自己改了一点源码 ---原始邮件--- 发件人: ***@***.***> 发送时间: 2021年12月2日(周四) 中午11:39 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [alibaba/DataX] 并发时 Communication 统计有异常 (#1065) 问题出在LocalTGCommunicationManager这个类中,该类使用一个map汇集统计信息,但他的key是taskGroupId,即:用task作为区分而不是用jobid,所以开源的是个单机版。你同时跑2个job任务,则需要用jobid作为区分进行汇集,不然会相互影响,应为两个任务的taskgroupid会重复。在LocalTGCommunicationManager类你加个map,以jobid为key就行,仿照原taskGroupId的代码,改吧改吧就行。改的类大多集中在etl.core.statistics包下。 — You are receiving this because you authored the thread. Reply...