ChatGLM-Efficient-Tuning icon indicating copy to clipboard operation
ChatGLM-Efficient-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon hiyouga

训练后loss先上下波动，然后突然变成0

Open mininggold007 opened this issue 1 year ago • 2 comments

我用/examples/alter_cog_chatglm2.sh 这个模板，采用修改成了数据集合：alpaca_data_zh_51k.json，alpaca_gpt4_data_zh.json，comparison_gpt4_data_zh.json。

loss先在2左右上下波动，然后突然变成0，后面一直保持为0，应该是出问题了吧。

mininggold007 avatar Jul 09 '23 00:07 mininggold007

学习率太大了

hiyouga avatar Jul 09 '23 02:07 hiyouga

谢谢

mininggold007 avatar Jul 10 '23 06:07 mininggold007