datax-web
datax-web copied to clipboard
DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、...
2024-07-04 17:37:21 [JobThread.run-130] ----------- datax-web job execute start ---------------------- Param: 2024-07-04 17:37:21 [ScriptJobHandler.execute-82] ----------- script file:/u01/datax/datax-web-2.1.2/modules/datax-executor/bin/../data/applogs/executor/jobhandler/gluesource/157298_1720085839000.py ----------- 2024-07-04 17:37:21 [ScriptUtil.execToFile-81] ------------------Process id: 87901 2024-07-04 17:37:21 [ProcessCallbackThread.callbackLog-186] ----------- datax-web job callback...
*For better global communication, please give priority to using English description, thx! * **Describe the bug** 使用主键增量同步时,endId始终是0 **Expected behavior** 根据主键增量同步 **Screenshots** **Which version of DataX Web:** 2024-07-01的最新版本


问题描述: https://github.com/WeiYe-Jing/datax-web/issues/664 主要问题是因为在获取数据源连接时, 默认全部是使用缓存  修复方法: 数据源测试不使用缓存, 其他情况照常使用缓存, 解决方法如下: 1. 添加isCache字段, 默认为true, 表示使用缓存  2. 在获取数据源连接时添加判断, 因为有默认值的存在, 所以其他方法获取数据源连接时和之前时一样的  3. 修改数据源连接为不从缓存中获取 
在项目不重启的情况下, 测试一个数据源连接, 第一次连接成功后, 后续修改信息也是成功的, 除非修改数据源名称  可能造成的影响:(在不修改数据源名称的情况下) 1. 在第一次连接成功后, 信息填错了也能保存, 会导致后续获取表或者列信息有误差 2. 保存数据源信息后, 更新数据源信息, 填写任何信息也能更新