NAFNet icon indicating copy to clipboard operation
NAFNet copied to clipboard

关于SIDD测试结果

Open leonmakise opened this issue 3 years ago • 6 comments

看了一下论文,我自己也训练了一遍width 32的网络,结果能和论文对上,但是貌似结果是SIDD validation set的值?是否不是benchmark的结果呢?

期待您的回复!

leonmakise avatar May 10 '22 07:05 leonmakise

leonmakise,您好,

是的,我们和近期的工作如Restormer, MAXIM 等一样,采用了MPRNet的设置。

mayorx avatar May 10 '22 09:05 mayorx

感谢~ 我从头训练了一遍width32的模型,目前在SIDD validation是39.8525/0.9591,在SIDD benchmark上是39.7/0.958。为什么大家都选择在validation上的结果?虽然论文很多都用了validation的值,但是validation的结果选择最佳模型,benchmark作为online server的report是不是更合理?

leonmakise avatar May 10 '22 13:05 leonmakise

leonmakise, 您好,

这可能和历史原因有关, 前面的工作这么做了, 后面的工作为了和它公平的比较一般会选择遵照他们的设置

mayorx avatar May 11 '22 03:05 mayorx

您好,我是从头训练了一遍REDS-width64的模型,使用3块V100(论文中8块),其他都保持不变(如400000个iteration)但是在REDS-val-300上得到的结果是28.83/0.862,和论文中29.09/0.867相差较大。请问您大概了解可能的原因吗

dydxdt avatar Jul 26 '22 12:07 dydxdt

@leonmakise 我们也提交了SIDD online benchmark 的结果。

@dydxdt 您好, 为了达到文中所报的点, 训练设置(batch_siz应为64 / lr 1e-3 / iters 400k) 需要和原文对齐。 减少batch size其他保持一致, 则1)模型见到的数据少了, 2). 可能lr需要重新设置。 这两种情况都会导致效果不如预期。

mayorx avatar Jul 27 '22 04:07 mayorx

@leonmakise 我们也提交了SIDD online benchmark 的结果。

@dydxdt 您好, 为了达到文中所报的点, 训练设置(batch_siz应为64 / lr 1e-3 / iters 400k) 需要和原文对齐。 减少batch size其他保持一致, 则1)模型见到的数据少了, 2). 可能lr需要重新设置。 这两种情况都会导致效果不如预期。

谢谢您的回复!我再去试试

dydxdt avatar Jul 27 '22 04:07 dydxdt