对 HdfsReader 的 path 正则的修复(空文件类型判断的Bug)和增强
- 修复了当 hdfs 路径 path 以普通方式(不是正则方式)时,文件夹下有空文件时类型验证异常的 Bug
- 增强了 HdfsReader 对 path 正则的支持,在原有基础上支持了"[]"、"{}"、"^"
- 修复了 datax-common 模块 Object 强转 List 的类型转换异常
-
package.xml中的 reader 和 writer 按照字典排序,并引入缺失的 gdbreader 、 gdbwriter、tsdbreader、kuduwriter - ~~移除源码中引入的多余的测试依赖和包~~
- 修复kuduwriter 打包指定的 jar 包名字
@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!
@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!
OK,我本地解决下冲突,测试没问题后我重新提交一下
@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!
你好!代码冲突的问题已经解决了
@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!
你好!代码冲突的问题已经解决了
- 修复了当 hdfs 路径 path 以普通方式(不是正则方式)时,文件夹下有空文件时类型验证异常的 Bug
- 增强了 HdfsReader 对 path 正则的支持,在原有基础上支持了"[]"、"{}"、"^"
- 修复了 datax-common 模块 Object 强转 List 的类型转换异常
package.xml中的 reader 和 writer 按照字典排序,并引入缺失的 gdbreader 、 gdbwriter、tsdbreader、kuduwriter- ~移除源码中引入的多余的测试依赖和包~
- 修复kuduwriter 打包指定的 jar 包名字
你好,如果文件夹下只有一个空文件,还会继续报错:com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path。 在hdfsreader 的183行那有个splitNumber,这里切片数量是0会报错。前面增加了判断长度不做处理,所以最后没有文件加入到 List集合里去,造成sourceFiles.size() =0。请问你们有这个问题存在吗?还是我哪里没修改到?
@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!
你好!代码冲突的问题已经解决了
你好,如果文件夹下只有一个空文件,还会继续报错:com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path。 在hdfsreader 的183行那有个splitNumber,这里切片数量是0会报错。前面增加了判断长度不做处理,所以最后没有文件加入到 List集合里去,造成sourceFiles.size() =0。请问你们有这个问题存在吗?还是我哪里没修改到?
