Firefly 单机8卡全参数微调ziya-13b，报Current loss scale already at minimum，但百川13b就没问题

单机8卡全参数微调ziya-13b，报Current loss scale already at minimum，但百川13b就没问题

Open karlshoo opened this issue 1 year ago • 3 comments

Exception: Current loss scale already at minimum - cannot decrease scale anymore. Exiting run. 请问这个是什么原因，该如何解决呀？

Jul 20 '23 11:07 karlshoo

我现在训练Baichuan2-13B-Chat也遇到了这个错误，请问您解决了么

Sep 15 '23 11:09 Satonio1

您需要开bf16，与预训练的精度对齐

---- 回复的原邮件 ----

发件人	*@.**>
日期	2023年09月15日 19:56
收件人	*@.**>
抄送至	*@.>、@.*>
主题	Re: [yangjianxin1/Firefly] 单机8卡全参数微调ziya-13b，报Current loss scale already at minimum，但百川13b就没问题 (Issue #68)

我现在训练Baichuan2-13B-Chat也遇到了这个错误，请问您解决了么

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.

Sep 18 '23 07:09 karlshoo

多谢，问题解决了

Sep 18 '23 07:09 Satonio1