全参数微调loss收敛问题

[ryandok]

你好！ 我用26k的数据全参数微调baichuan-13模型，epoch设置为3。训练和验证的loss如图所示（左边是train，右边是eval） 请问我这是过拟合了嘛？训练的loss收敛也感觉很奇怪，会出现突然骤降的情况。 用的训练框架是https://github.com/hiyouga/LLaMA-Efficient-Tuning

[yangjianxin1]

是过拟合了，数据量太小，建议不要训太多个epoch。 train loss骤降明显是发生在每个epoch开头，因为所有数据模型都已经见过一遍了，这个现象普遍存在。 右边eval loss上升，说明过拟合了，可以考虑取第3000个step的checkpoint来用。

[ryandok]

是过拟合了，数据量太小，建议不要训太多个epoch。 train loss骤降明显是发生在每个epoch开头，因为所有数据模型都已经见过一遍了，这个现象普遍存在。 右边eval loss上升，说明过拟合了，可以考虑取第3000个step的checkpoint来用。

谢谢你！

[wanglaiqi]

我用的训练框架也是https://github.com/hiyouga/LLaMA-Efficient-Tuning 训练的loss 出现上升，不清楚怎么回事？