datax-web
datax-web copied to clipboard
DataX集成可视化页面,选择数据源即可一键生成数据同步任务,支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源,批量创建RDBMS数据同步任务,集成开源调度系统,支持分布式、增量同步数据、实时查看运行日志、...
**Describe the question** 最终在azkaban和datax-web之间犹豫,个人是比较倾向于datax-web的,比较轻便好用,但不知道大规模了以后能不能支撑住
任务编辑时,增量时间字段 和 JVM启动参数同时设置后,任务执行时会报如下错误【Error: Could not create the Java Virtual Machine】: 2021-07-29 13:51:43 [JobThread.run-130] ----------- datax-web job execute start ---------------------- Param: 2021-07-29 13:51:43 [BuildCommand.buildDataXParam-100] ------------------Command parameters:-j"-Xms256m -Xmx256m -XX:+HeapDumpOnOutOfMemoryError" -p"-Dstart_time='2021-07-29%13:44:57' -Dend_time='2021-07-29%13:51:43'" 2021-07-29...
增量id同步问题
endId是任务在每次执行时获取当前表maxId,也是下一次任务的startId 举例mysql: job_user 一共2条数据,第一条id为1,第二条id为10 第一次执行select * from job_user where id>= '1' and id< '10' 正确 第二次执行 select * from job_user where id>= '10' and id< '10' ,无法查询到最后一条记录id为10
om.wugui.datax.admin.mapper.JobUserMapper 第29行:JobUser getUserById(@Param("id") int id); datax-web/datax-admin/src/main/resources/mybatis-mapper/JobUserMapper.xml 第84行:WHERE t.id = #{userId} 参数名称不匹配
  这个dt没有被替换
idea中启动报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
on project datax-web: Error reading assemblies: No assembly descriptors found.