zhaohaojie
zhaohaojie
@zhihuiwan 我也是通过 kubefate部署了 fate1.10.0 ，详情是 fate-spark-pulsar的配置，通过client upload数据集时报错，帮忙看下是什么问题， 
#875 fate 1.10.0 使用pyarrow 连 hadoop3.x是报错的，
> > @zhihuiwan我也是通过kubefate部分配置了fate1.10.0，详情是fate-spark-pulsar的配置，通过客户端上传数据集时报错，帮忙看看下面是什么问题，  > > 请问下hadoop是哪个版本？ [我是按v1.10.0 的kubefate的README 通过 k8s-deploy 的方式， 走/examples/party-9999/cluster-spark-pulsar.yaml](https://github.com/FederatedAI/KubeFATE/issues/875)
> 你部署的hadoop在hadoop/lib/native目录下是不是缺失了libhdfs.so文件?可以参考这个issues:[FederatedAI/FATE#4425](https://github.com/FederatedAI/FATE/issues/4425) @ChrisBamaofan spark+hdfs的版本 upload是报错了，然后铲掉了，后来通过 spark_local+localfs的方式部署，我再部署一遍看一下
> 你部署的hadoop在hadoop/lib/native目录下是不是缺失了libhdfs.so文件?可以参考这个issues:[FederatedAI/FATE#4425](https://github.com/FederatedAI/FATE/issues/4425) @ChrisBamaofan 刚刚通过kubefate 又部署了一遍 ，命令行是 ./kubefate cluster install -f ../kubefate/examples/party-9999/cluster-spark-pulsar.yaml，文件是没缺少的。 
@owlet42 通过接口绑定到hdfs的方式也失败了，fateflow报错如下 
在网上看到了[通过pyarrow连 hadoop 3.x 的相同报错](https://issues.apache.org/jira/browse/ARROW-9019?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aall-tabpanel)
> @ChrisBamaofan 请问你解决了吗？我遇到了同样的问题  没解决，后来用了localspark+localfs的方式部署