NAFNet
NAFNet copied to clipboard
megvii-research
About Paper Results
Hello，您好！我有个问题是关于您所写论文里的结果对比部分，具体地说是Table 6. 为什么NAFNet在GoPro数据最终测试的结果由32.85变为了33.69呢？我想我应该认真阅读了您的整篇文章。是因为实验部分采用了与MPRNet-Local方法一致的TLSC方法吗？
期待您的答复！
您好， kwshh，
我们在实验章节 （5.1 / 5.2） 的开头部分简要阐述了一下两者实验设置的不同： 32.85 的模型的计算量在 16GMACs 左右， 而33.69 的模型GMACs在65GMACs左右。他们之间的差别为通道宽度。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
谢谢。请问在GoPro上训练，按照HINet的方法准备训练集就可以吗？我看介绍里没有准备数据集这块的介绍。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
谢谢。请问在GoPro上训练，按照HINet的方法准备训练集就可以吗？我看介绍里没有准备数据集这块的介绍。
数据集准备在 https://github.com/megvii-research/NAFNet#image-restoration-tasks ， 和HINet是一样的， 除了validation 的lmdb格式数据可以直接下载， 见 https://github.com/megvii-research/NAFNet/blob/main/docs/GoPro.md 。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
谢谢。请问在GoPro上训练，按照HINet的方法准备训练集就可以吗？我看介绍里没有准备数据集这块的介绍。
数据集准备在 https://github.com/megvii-research/NAFNet#image-restoration-tasks ， 和HINet是一样的， 除了validation 的lmdb格式数据可以直接下载， 见 https://github.com/megvii-research/NAFNet/blob/main/docs/GoPro.md 。
谢谢回复。祝顺利
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。而其他一些方法要么没意识到， 要么也用了一些其他方法尝试规避“不一致性问题”， 比如 渐进式训练（训练size逐渐增大，和测试gap减小）， 分块测试（可能会有主观质量的下降）等等。
TLC对于NAFNet的影响在文章中添加了， 估计这两天arxiv上就会更新。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。而其他一些方法要么没意识到， 要么也用了一些其他方法尝试规避“不一致性问题”， 比如 渐进式训练（训练size逐渐增大，和测试gap减小）， 分块测试（可能会有主观质量的下降）等等。
TLC对于NAFNet的影响在文章中添加了， 估计这两天arxiv上就会更新。
感谢。对于所述“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。”这一观点不是很认同，因为图像恢复领域的文章TLC，针对的正是不一致的问题，而且提出了TLC方法。同为图像恢复领域的文章NAFNet，再次重申这一问题，而且用的同样的方法，把这种行为归并到NAFNet的贡献是不是有点不妥。理解为一种trick更合适些？
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。而其他一些方法要么没意识到， 要么也用了一些其他方法尝试规避“不一致性问题”， 比如 渐进式训练（训练size逐渐增大，和测试gap减小）， 分块测试（可能会有主观质量的下降）等等。 TLC对于NAFNet的影响在文章中添加了， 估计这两天arxiv上就会更新。
感谢。对于所述“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。”这一观点不是很认同，因为图像恢复领域的文章TLC，针对的正是不一致的问题，而且提出了TLC方法。同为图像恢复领域的文章NAFNet，再次重申这一问题，而且用的同样的方法，把这种行为归并到NAFNet的贡献是不是有点不妥。理解为一种trick更合适？
TLC本来就是他们旷世的产出，将自己团队的创新点同时用到另一个项目中有问题吗？没有。你是否不知道Restormer，NAFNet,TLC都是他们旷世的项目呢？
我倒是知道restormer的单位列表没有出现旷世
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。而其他一些方法要么没意识到， 要么也用了一些其他方法尝试规避“不一致性问题”， 比如 渐进式训练（训练size逐渐增大，和测试gap减小）， 分块测试（可能会有主观质量的下降）等等。 TLC对于NAFNet的影响在文章中添加了， 估计这两天arxiv上就会更新。
感谢。对于所述“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。”这一观点不是很认同，因为图像恢复领域的文章TLC，针对的正是不一致的问题，而且提出了TLC方法。同为图像恢复领域的文章NAFNet，再次重申这一问题，而且用的同样的方法，把这种行为归并到NAFNet的贡献是不是有点不妥。理解为一种trick更合适些？
确实我的表述“ 我们意识到了训练测试不一致性问题然后用TLC去解决” 可能有些不妥，不算很严谨，因为不一致性这个问题是我们在TLC 这篇文章声明/发现的，所以我的表述是“意识到”而不是“发现了“。
我想表达的意思是： TLC （或者前身TLSC）在21年12月份已经公开了，但是后续的一系列工作还是忽视了文章中声明的问题/解决方法 -- 要么继续忽略问题， 要么用次优的方法解决。在这种情况下， NAFNet告诉大家， 已经有一个成熟的解决方法了--- 所以我才说“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分”。
关于“trick”， 我不太了解“trick”的定义，所以可能只是我们对trick的定义不大一样。我们把TLC看成一个成熟的解决方案。 举个不恰当的例子，比如BN提出之后，第一篇用BN的网络可能会被认为是使用了一个trick， 但现在回过头来我们似乎不太把BN和trick联系在一起。
P.S. Restormer确实并不是我们的工作。
请问作者，能否告知一下TLSC对最终结果的贡献程度？
对于SIDD没有影响因为SIDD本身就在256x256 测试的。 对于GoPro， 相比于HINet, DeepRFT 等方法采用的分patch测试， TLSC相对其涨点大概在0.05 ～ 0.1 dB. 但正如TLSC文中所描述的， TLSC带来涨点的同时可以避免分patch 测试带来的块效应。
你好，TLSC（TLC）如果只涨点0.05-0.1的话，是否说明这个技术不太普适。和Restormer等其他模型上的大幅涨点形成了鲜明的对比。
您好，如我上面所述， 这边比较是和HINet / DeepRFT等方法采用的分patch 测试相比。而分patch 测试本身确实会带来更高的点但是会有“块效应”， 正如我们在TLC论文中讨论的一样。 相比“不采用任何抑制训练测试不一致性”的方法，TLC仍然可以带来0.6 dB左右的涨点， 和您这边说的“大幅涨点”应该属于同一个量级了。
谢谢半夜的回复，辛苦。 所以是不是可以认为，相比于不加TLC，NAFNET+TLC会得到0.6左右的提升，最终达到了在GOPRO上33.69的PSNR？而NAFNET靠自身的网络设计（无TLC），达到的PSNR只有33.69-0.6=33.1左右。 谢谢回复。因为我看文章中没有单独讨论TLC对于NAFNET的影响。
倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。而其他一些方法要么没意识到， 要么也用了一些其他方法尝试规避“不一致性问题”， 比如 渐进式训练（训练size逐渐增大，和测试gap减小）， 分块测试（可能会有主观质量的下降）等等。 TLC对于NAFNet的影响在文章中添加了， 估计这两天arxiv上就会更新。
感谢。对于所述“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分 -- 因为我们意识到了“训练测试不一致性”对结果的影响并且用当前比较先进的解决方法“TLC”去解决。”这一观点不是很认同，因为图像恢复领域的文章TLC，针对的正是不一致的问题，而且提出了TLC方法。同为图像恢复领域的文章NAFNet，再次重申这一问题，而且用的同样的方法，把这种行为归并到NAFNet的贡献是不是有点不妥。理解为一种trick更合适些？
确实我的表述“ 我们意识到了训练测试不一致性问题然后用TLC去解决” 可能有些不妥，不算很严谨，因为不一致性这个问题是我们在TLC 这篇文章声明/发现的，所以我的表述是“意识到”而不是“发现了“。
我想表达的意思是： TLC （或者前身TLSC）在21年12月份已经公开了，但是后续的一系列工作还是忽视了文章中声明的问题/解决方法 -- 要么继续忽略问题， 要么用次优的方法解决。在这种情况下， NAFNet告诉大家， 已经有一个成熟的解决方法了--- 所以我才说“倒不如说使用TLC本身就是NAFNet的（贡献的）一部分”。
关于“trick”， 我不太了解“trick”的定义，所以可能只是我们对trick的定义不大一样。我们把TLC看成一个成熟的解决方案。 举个不恰当的例子，比如BN提出之后，第一篇用BN的网络可能会被认为是使用了一个trick， 但现在回过头来我们似乎不太把BN和trick联系在一起。
P.S. Restormer确实并不是我们的工作。
感谢回复。期待接下来的工作~