FATE
FATE copied to clipboard
FederatedAI
fate on spark 任务执行失败，找不到./python_env/bin/python
版本与部署环境
fate on spark v1.11.2
错误截图
复现方式
(venv) flow test toy -gid 10000 -hid 10000
其他信息
SPARK 任务提交脚本
在日志中找到了提交脚本 /home/wby/jydata/local/spark-3.1.2/bin/spark-submit --name=202405131701189946420_secure_add_example_0#guest --num-executors=2 --executor-cores=1 --archives hdfs://tg01:9010/fate_dependence/1.11.2/fate.zip#fate_code,hdfs://tg01:9010/fate_dependence/1.11.2/python_env.tar.gz#python_env --conf spark.pyspark.python=./python_env/bin/python --conf spark.executorEnv.PYTHONPATH=./fate_code/fate/python:$PYTHONPATH --conf spark.pyspark.driver.python=/home/wby/fate/common/python/venv/bin/python /home/wby/fate/fateflow/python/fate_flow/worker/task_executor.py --job_id 202405131701189946420 --component_name secure_add_example_0 --task_id 202405131701189946420_secure_add_example_0 --task_version 0 --role guest --party_id 10000 --config /home/wby/fate/fateflow/jobs/202405131701189946420/guest/10000/secure_add_example_0/202405131701189946420_secure_add_example_0/0/task_executor/5db926aa110711efa7b28c2a8e87b876/config.json --result /home/wby/fate/fateflow/jobs/202405131701189946420/guest/10000/secure_add_example_0/202405131701189946420_secure_add_example_0/0/task_executor/5db926aa110711efa7b28c2a8e87b876/result.json --log_dir /home/wby/fate/fateflow/logs/202405131701189946420/guest/10000/secure_add_example_0 --parent_log_dir /home/wby/fate/fateflow/logs/202405131701189946420/guest/10000 --worker_id 5db926aa110711efa7b28c2a8e87b876 --run_ip tg01 --run_port 9380 --job_server tg01:9380 --session_id 202405131701189946420_secure_add_example_0_0_guest_10000 --federation_session_id 202405131701189946420_secure_add_example_0_0
可以看到是-conf spark.pyspark.python=./python_env/bin/python 参数被设置成了 ./python_env/bin/python。 但是我在spark-env.sh中配置了export PYSPARK_PYTHON=/home/wby/fate/common/python/venv/bin/python, 不清楚为什么没有生效。
在mysql中的依赖信息截图
HDFS中分发的依赖
不知道是不是因为分发的依赖没有下载导致的问题。python_env.tar.gz的结构如下：
