DeepSpeed icon indicating copy to clipboard operation
DeepSpeed copied to clipboard
verified publisher icon microsoft

[REQUEST]预训练模型有中文能力么？能增加中文预训练模型么？

Open ucas010 opened this issue 2 years ago • 1 comments

hi,dear 大佬 我尝试了下opt-1.3b的训练过程，结果英语能力都不如意，都是I‘m sorry 不理解，你能解释下吗？ https://github.com/microsoft/DeepSpeed/issues/3331

ucas010 avatar Apr 24 '23 11:04 ucas010

bloom 支持中文模型呀，不过效果可能也不太好 opt-1.3b 如果都是I'm sorry，那你训练失败了~

zy-sunshine avatar May 07 '23 09:05 zy-sunshine