byzer-lang
byzer-lang copied to clipboard
【Bug】engine启动一段时间后,spark的hdfs的tmp里面的目录丢失,所有代码执行报文件不存在
engine启动一段时间后,spark的hdfs的tmp里面目录丢失,所有代码执行报文件不存在,下图报错
根据日志,spark.local.dir 设置为 /tmp。 该目录会被Linux 定时清理。 因而,修改配置,spark.local.dir 设置为 高速且不被清理的磁盘。