DataX icon indicating copy to clipboard operation
DataX copied to clipboard
verified publisher icon alibaba

mysql to oracle出现mysql读取数据读取丢失

Open zhanghf123 opened this issue 2 years ago • 4 comments

源码中增加了一个变量来记录mysql表的总数据量，在处理同一份作业的情况下，有时候nums数量跟mysql count出来的一致，有时候却不一致！ 有遇到过类似问题的吗？ WeChat156884d91f89692fd7318026c7ddf774

zhanghf123 avatar Jan 17 '23 07:01 zhanghf123

mysql数据量有200W左右，偶尔丢失

zhanghf123 avatar Jan 17 '23 07:01 zhanghf123

这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.

当你的Job只有1个Task的时候,才会一致.

读取的总量在任务执行结束后不是有统计吗,用那个就行.

Y-evil avatar Jan 18 '23 00:01 Y-evil

这里统计的是单个Task的读取数量,确切的说是参数querySql查询出来的数量,不是Job的.

当你的Job只有1个Task的时候,才会一致.

读取的总量在任务执行结束后不是有统计吗,用那个就行.

只有一个Task，并且我增加的nums变量跟任务执行结束后统计的总量是一致的，问题就在于总量跟querySql的数据量对不上了，偶尔会出现遗漏几条的情况

zhanghf123 avatar Jan 18 '23 01:01 zhanghf123

你的整个job配置发来看看.querySql也贴下.

如果配置了splitPk,检查下你的splitPk对应的类型是否为数字类型.

Y-evil avatar Jan 18 '23 02:01 Y-evil