DataX icon indicating copy to clipboard operation
DataX copied to clipboard

Published 20 hours ago • verified publisher icon alibaba

多个任务同时执行时结束日志不正确

Open leafCheng1226 opened this issue 10 months ago • 6 comments

各位大神好，最近测试发现dataX在运行两个job：比如A是500W数据量的同步任务，B是10W数据量的同步任务。A先开始，但未结束时，B也开始运行了。之后B先结束，开始打印结束人统计信息，没有问题。但当A运行完之后，打印的信息却也是B的。请问这个问题应该如何解决呢？ 就是下面这个log： dataxLog

leafCheng1226 avatar Apr 10 '24 09:04 leafCheng1226

好像datax现在是不支持一个配置里面跑多个任务吧

FuYouJ avatar Apr 13 '24 05:04 FuYouJ

好像datax现在是不支持一个配置里面跑多个任务吧

我是在java项目里面调用的，其实一个配置也是只有一个数据在同步。只不过可能出现多个同步在同一个时间运行了。

leafCheng1226 avatar Apr 15 '24 09:04 leafCheng1226

不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑

ironZr avatar Apr 17 '24 11:04 ironZr

不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑

嗯，我们解决了。没有使用进程的办法，是改了一下源码原来的逻辑是会把最新的job id的log贴到其他全部的正在运行的job的log上面去了，改成根据job id去merge log即可。

leafCheng1226 avatar Apr 26 '24 03:04 leafCheng1226

不要线程调用 我去年用的时候也犯了同样的错误 直接启进程跑

嗯，我们解决了。没有使用进程的办法，是改了一下源码原来的逻辑是会把最新的job id的log贴到其他全部的正在运行的job的log上面去了，改成根据job id去merge log即可。

怎么解决的呀？我这边同时启动多个任务，或者循环启动多个任务，数据库插件是一个，但是会报脏数据，如果每个任务执行完停了应用程序然后执行下一个任务就正常。

C-ZhengL avatar May 17 '24 02:05 C-ZhengL

@C-ZhengL 源码中应该是一个统计监控类, image 修改为 image

Lifu12 avatar Jun 18 '24 08:06 Lifu12