CoolplaySpark icon indicating copy to clipboard operation
CoolplaySpark copied to clipboard
verified publisher icon lw-lin

程序编译的时候是kafka_client-0.10.jar的，spark-submit的时候加载了CDH自带的spark-assembly。导致类冲突

Open LinMingQiang opened this issue 7 years ago • 1 comments

LinMingQiang avatar Nov 29 '18 08:11 LinMingQiang

例如KafkaConsumer这个类。程序编译的时候是kafka_client-0.10.jar的，但是spark-submit的时候使用的是spark-assembly-1.6.0-cdh5.14.4-hadoop2.6.0-cdh5.14.4.jar包里的 。导致程序运行的时候出现冲突。想请教下这个有好的解决办法吗

LinMingQiang avatar Nov 29 '18 08:11 LinMingQiang