chunjun
chunjun copied to clipboard
hadoop3.x版本,hdfs connector不支持orc
因为hive的版本是1.1.1,不支持3.x版本的hadoop,会失败
我也遇到这个问题非常棘手
@liukunyuan @jctanking 我们尝试出来一种方法是修改hdfs-connector中的hive版本,然后修改一下其中的方法调用参数 将hdfs-connector 中 Hive version修改为3.1.0
<!-- <hive.version>1.1.1</hive.version>-->
<hive.version>3.1.0</hive.version>
修改HdfsOrcInputSplit.class
OrcSplit orcSplit = new OrcSplit(null, 0, 0, null, null, false, false, new ArrayList<>());
修改为
OrcSplit orcSplit = new OrcSplit(null, null, 0, 0, null, null, false, false, new ArrayList<>(), 0, 0, null);
然后重新编译运行即可
PR merged.