chunjun icon indicating copy to clipboard operation
chunjun copied to clipboard

hadoop3.x版本,hdfs connector不支持orc

Open liukunyuan opened this issue 3 years ago • 3 comments

因为hive的版本是1.1.1,不支持3.x版本的hadoop,会失败 image

liukunyuan avatar Dec 15 '21 07:12 liukunyuan

image

liukunyuan avatar Dec 15 '21 07:12 liukunyuan

我也遇到这个问题非常棘手

jctanking avatar Jul 07 '22 08:07 jctanking

@liukunyuan @jctanking 我们尝试出来一种方法是修改hdfs-connector中的hive版本,然后修改一下其中的方法调用参数 将hdfs-connector 中 Hive version修改为3.1.0

<!--		<hive.version>1.1.1</hive.version>-->
		<hive.version>3.1.0</hive.version>

修改HdfsOrcInputSplit.class

OrcSplit orcSplit = new OrcSplit(null, 0, 0, null, null, false, false, new ArrayList<>());

修改为

OrcSplit orcSplit = new OrcSplit(null, null, 0, 0, null, null, false, false, new ArrayList<>(), 0, 0, null);

然后重新编译运行即可

liumengkai avatar Sep 21 '22 09:09 liumengkai

PR merged.

FlechazoW avatar Sep 28 '22 09:09 FlechazoW