DataX icon indicating copy to clipboard operation
DataX copied to clipboard

对 HdfsReader 的 path 正则的修复(空文件类型判断的Bug)和增强

Open yoreyuan opened this issue 5 years ago • 5 comments

  • 修复了当 hdfs 路径 path 以普通方式(不是正则方式)时,文件夹下有空文件时类型验证异常的 Bug
  • 增强了 HdfsReader 对 path 正则的支持,在原有基础上支持了"[]"、"{}"、"^"
  • 修复了 datax-common 模块 Object 强转 List 的类型转换异常
  • package.xml 中的 readerwriter 按照字典排序,并引入缺失的 gdbreadergdbwritertsdbreaderkuduwriter
  • ~~移除源码中引入的多余的测试依赖和包~~
  • 修复kuduwriter 打包指定的 jar 包名字

yoreyuan avatar May 23 '20 10:05 yoreyuan

@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!

hail100 avatar Oct 23 '20 06:10 hail100

@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!

OK,我本地解决下冲突,测试没问题后我重新提交一下

yoreyuan avatar Nov 03 '20 07:11 yoreyuan

@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!

你好!代码冲突的问题已经解决了

yoreyuan avatar Nov 09 '20 10:11 yoreyuan

@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!

你好!代码冲突的问题已经解决了

  • 修复了当 hdfs 路径 path 以普通方式(不是正则方式)时,文件夹下有空文件时类型验证异常的 Bug
  • 增强了 HdfsReader 对 path 正则的支持,在原有基础上支持了"[]"、"{}"、"^"
  • 修复了 datax-common 模块 Object 强转 List 的类型转换异常
  • package.xml 中的 readerwriter 按照字典排序,并引入缺失的 gdbreadergdbwritertsdbreaderkuduwriter
  • ~移除源码中引入的多余的测试依赖和包~
  • 修复kuduwriter 打包指定的 jar 包名字

你好,如果文件夹下只有一个空文件,还会继续报错:com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path。 在hdfsreader 的183行那有个splitNumber,这里切片数量是0会报错。前面增加了判断长度不做处理,所以最后没有文件加入到 List集合里去,造成sourceFiles.size() =0。请问你们有这个问题存在吗?还是我哪里没修改到?

Flutemr avatar Jun 22 '22 02:06 Flutemr

@yoreyuan 帅哥,解决一下冲突,这个PR很有价值!

你好!代码冲突的问题已经解决了 1655865791(1)

你好,如果文件夹下只有一个空文件,还会继续报错:com.alibaba.datax.common.exception.DataXException: Code:[HdfsReader-08], Description:[您尝试读取的文件目录为空.]. - 未能找到待读取的文件,请确认您的配置项path。 在hdfsreader 的183行那有个splitNumber,这里切片数量是0会报错。前面增加了判断长度不做处理,所以最后没有文件加入到 List集合里去,造成sourceFiles.size() =0。请问你们有这个问题存在吗?还是我哪里没修改到?

Flutemr avatar Jun 22 '22 02:06 Flutemr