gitna
Results
3
comments of
gitna
请问您在训练中是否遇到loss_cons逐渐变大然后nan的情况呢。我用4.25版本模型+自己的数据集 finetune 总是nan
> [@gitnana](https://github.com/gitnana) 我没有遇到过这个，但是我如果用自己制作的训练集训练过一段时间就会遇到预测全黑的情况，数据量增加后这个预测全黑的时间会变得更久一点 我的现象也是训练一段时间后预测全黑。然后发现loss_cons在训练中逐渐变大到nan，尝试过去掉loss_cons，结果loss_l1 loss_vgg也会nan
> [@gitnana](https://github.com/gitnana) 你的训练集有多少组训练图片？图片量过少会过拟合可能导致这个问题，我是增加到5000组微调，图片就不会黑了；当时没注意看loss_cons 我大概3w多，可能存在比较多 i0 i1差异很小的图。目前还观察到，teacher2的输出会异常。