zero_nlp icon indicating copy to clipboard operation
zero_nlp copied to clipboard

Published 20 hours ago • verified publisher icon yuanzhoulvpi2017

模型并行问题

Open juemifuji opened this issue 1 year ago • 4 comments

训练chatglm-6b模型，可以使用模型并行的方式了！！！ 请点击链接查看Chatglm6b_ModelParallel，目前这个版本，虽然在训练的过程中，loss下降了，但是模型学习不到内容，这个问题我还在排查。

请问这个问题解决了吗

juemifuji avatar Apr 17 '23 06:04 juemifuji