DataX icon indicating copy to clipboard operation
DataX copied to clipboard
verified publisher icon alibaba

split的优化点

Open lwd-coding opened this issue 1 year ago • 3 comments

1.IS NOT NULL应该支持配置项 image 这个IS NOT NULL的拼接调整为配置可选会更好，因为对于mysql本身就是忽略null，但是在min和max加了IS NOT NULL会导致整颗索引树扫描 image

2.做分库分表迁移，存在自增id和雪花算法，使用默认split会有数据倾斜，如果split支持按自己配置的切分段执行会更好

lwd-coding avatar Jul 14 '24 06:07 lwd-coding

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

good-134 avatar Jul 15 '24 10:07 good-134

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

可以的

lwd-coding avatar Jul 16 '24 15:07 lwd-coding

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

可以的

如某个分片的数据量非常大,会有数据倾斜。您有什么好处理的方法吗?

good-134 avatar Jul 22 '24 10:07 good-134