MiniCPM icon indicating copy to clipboard operation
MiniCPM copied to clipboard
verified publisher icon OpenBMB

[Bad Case]: 微调MiniCPM 4.1-8B时，其loss显著高于其他模型

Open moonmengmeng opened this issue 2 months ago • 1 comments

Description / 描述

如图第一步loss为500多，在其他模型刚开始的时候都是3-4左右

Image

Case Explaination / 案例解释

No response

moonmengmeng avatar Oct 10 '25 10:10 moonmengmeng

是用 bfloat16 训练么？

suhmily10 avatar Oct 15 '25 13:10 suhmily10