byzer-lang icon indicating copy to clipboard operation
byzer-lang copied to clipboard

【Bug】engine启动一段时间后,spark的hdfs的tmp里面的目录丢失,所有代码执行报文件不存在

Open freezhou2022 opened this issue 2 years ago • 1 comments

engine启动一段时间后,spark的hdfs的tmp里面目录丢失,所有代码执行报文件不存在,下图报错 微信图片_20220828211422

freezhou2022 avatar Aug 28 '22 13:08 freezhou2022

根据日志,spark.local.dir 设置为 /tmp。 该目录会被Linux 定时清理。 因而,修改配置,spark.local.dir 设置为 高速且不被清理的磁盘。

chncaesar avatar Oct 13 '22 01:10 chncaesar