FATE-LLM icon indicating copy to clipboard operation
FATE-LLM copied to clipboard

Published 20 hours ago • verified publisher icon FederatedAI

ChatGLM-6B模型训练问题

Open zapjone opened this issue 9 months ago • 1 comments

各位大佬好，想请假下，在fate中使用LLM训练GPT模型时，报以下错误，根据deepspeed的相关问题和解决，将其fp16禁止掉，但在fate中，将其fp16:{enable:False}后，还是报以下错误，想问下有遇到过这个问题的吗？ 环境： 2台3090GPU机器，每台1块GPU。deepspeed==1.13.1 image

zapjone avatar May 23 '24 05:05 zapjone