datax-web icon indicating copy to clipboard operation
datax-web copied to clipboard

[Feature] 时间戳增量的开始、截止时间问题

Open LockiJiang opened this issue 5 years ago • 3 comments

目前时间戳增量抽取数据时,以当前任务运行开始时间为抽取的结束时间,然后将本次任务运行的开始时间作为下次任务的开始时间; 整体逻辑上并无问题,但是作为一个数据同步工具,考虑到大多数时间会独立部署,那么该工具的服务器时间并不能做到与所有数据库服务器的时间同步,服务器间存在时间差,有可能会造成漏数据;

建议:任务开始时间、结束时间也从数据同步的源库获取(现在按ID增量同步也是先到源库做了一次查询)

LockiJiang avatar Sep 19 '20 05:09 LockiJiang

目前时间戳增量抽取数据时,以当前任务运行开始时间为抽取的结束时间,然后将本次任务运行的开始时间作为下次任务的开始时间; 整体逻辑上并无问题,但是作为一个数据同步工具,考虑到大多数时间会独立部署,那么该工具的服务器时间并不能做到与所有数据库服务器的时间同步,服务器间存在时间差,有可能会造成漏数据;

建议:任务开始时间、结束时间也从数据同步的源库获取(现在按ID增量同步也是先到源库做了一次查询)

+1 非常好的建议

WeiYe-Jing avatar Sep 19 '20 06:09 WeiYe-Jing

请问下这种方式现在是否已经支持了呢?

weizhaowu-se avatar Jan 25 '21 09:01 weizhaowu-se

@WeiYe-Jing 有更新不

luobingit avatar Dec 14 '22 06:12 luobingit