蒸馏损失只升不降

Open aiyuedeyang opened this issue 11 months ago • 2 comments

您好，我在训练的过程中蒸馏的loss一直在升高，然后震荡，最后会在30多ep后突然nan，l1和tea的loss能够下降，但是蒸馏loss变nan之后也会直接影响到l1和tea，想问一下作者有遇到这样的问题吗。应该能够排除掉坏样本的问题，

Jan 16 '25 02:01 aiyuedeyang

你好，我有时候换数据集训练会遇到这种情况通常我会调小蒸馏损失的权重系数以及增加优化器的 weight decay

Jan 20 '25 02:01 hzwer

！！我也是这么做的，但是还是会崩，主要是不知道为什么会突然nan，我再看一看，谢谢回复

Jan 20 '25 02:01 aiyuedeyang