NAFNet Dear author,I want to why not use weight decay to train this model?

Dear author,I want to why not use weight decay to train this model?

Open BrotherHappy opened this issue 3 years ago • 1 comments

想知道为什么不使用weight-decay来训练模型，这样不会导致过拟合嘛？

Apr 29 '22 10:04 BrotherHappy

你好， BrotherHappy, 这在图像恢复模型的训练中属于比较常规的操作，如MPRNet的训练： https://github.com/swz30/MPRNet/blob/main/Deblurring/train.py#L59

而通过观察 train loss / val PSNR, 虽然train loss 在下降，但是val PSNR并没有出现明显下降的情况，所以可以说并不明显存在传统意义上的过拟合。

Apr 29 '22 17:04 mayorx