datax-web-ui
datax-web-ui copied to clipboard
WeiYe-Jing
DataX Web UI
### 一、任务构建最后一步保存时，向后端传递addTime和updateTime，时间格式错误，导致后端接收异常  分析后，addTime和updateTime实际为任务模版的创建时间与修改时间，逻辑上也不应该赋值给任务，因此直接去掉 ### 二、处理任务构建schema 1、处理任务构建，选择不同schema时，无法获取表字段的问题 2、构建任务JSON时若选择了schema，表名也需拼接schema 
…串的时候会变成\\u0001（其实是前端刚传递给后端的时候出现的），导致datax不识别。(这个之前提交过一次,因为我这边代码删除了,所以重新写了下,前端不涉及) 2.批量构建的时候，加入了对hive的批量构建支持。自动从hive的建表语句中读取各字段信息，封装至json文件中。hive的写入模式增加了truncat模式，如要该模式生效，需替换datax的hivewriter以支持。 3.对sqlserver数据源引入了jtds驱动的方式（jtds能同时支持的sqlserver版本较多），对于datax那边则只需要将jtds的驱动jar包放入对应的文件夹中即可，datax代码无需变动。 4.增加了当新增数据源时，jdbc驱动采用插件的形式创建数据源。在新增数据源或者修改数据源页面，有选项，如果不选择使用pom中的默认驱动，如果想要使用自己的驱动，则只需将驱动的jar文件放入/datax-web-2.1.2/modules/datax-admin/conf文件夹下即可，刷新页面，即可看到新添加的驱动包，选择驱动包创建数据源。
项目有需求，需要同步txtfile、parquet到rabbitmq中，就基于master分支调整了下接口和UI。 对应的接口部分代码：https://github.com/jiangdw/datax-web
https://github.com/WeiYe-Jing/datax-web-ui/blob/acf87af9c67001ccc584f38d956d9a3e53040bb5/src/views/datax/jdbc-datasource/index.vue#L253
datax->json构建数据源功能： 1、表格展示去除【用户名】、【jdbc.url】、【jdbc驱动类】 2、操作列添加【详情】 理由： 1、datax支持的数据源种类很多。现在这个系统都是关系统数据库的，所以可以这么展示。如果支持文件类型等，那么这几个字段就没有意义了。 2、针对数据源的展示，这三个内容，实际上并不是大家关心的。【数据源名称】、【数据源类型】、【备注】，即可让操作人瞬间了解需要的内容 3、减少了表格的宽度，同时可以不会出现横向滚动条，让【详情】列会变得更宽，显示更多内容
