FATE-LLM icon indicating copy to clipboard operation
FATE-LLM copied to clipboard

运行ChatGLM-6B报错误后VGPU-CORE资源不释放

Open LillianXu00 opened this issue 9 months ago • 2 comments

运行ChatGLM-6B报错误后(错误信息见issue-运行tutorial中的ChatGLM-6B报grpc错误),发现VGPU-CORE资源不足,但是eggroll的dashboard展示的可分配VGPU-CORE资源数量是正常的。 到mysql中手动修改node 和processor manage表,将deepspeed任务pre-allocated的VGPU-CORE记录清除,才能重新提交任务。 清楚后可以分配到资源,但是visibleCudaDevices又变成-1了,使用nvidia-smi查看GPU是正常的,执行非FATE的GPU训练任务也能正常执行。

LillianXu00 avatar May 24 '24 02:05 LillianXu00