achusky

你好，感谢你对我们的工作感兴趣。 我们的工作揭示了图像复原任务中全局操作的训练-测试不一致现象：训练时基于裁切图像的全局信息分布和推理时基于全图的全局信息的分布并不一致。为了缓解不一致性对性能的负面影响，我们提出了测试时局部转换器TLC：在模型推理时将操作的信息聚合范围从全局（整个空间维度）转换为局部窗口。 对于CA，它们在训练时只是基于裁切图像（原图中的一个局部）来计算均值/注意力。在测试时，使用全图的话就会变成“基于全局来计算”。于是就有“训练-测试的不一致”。TLC只是在测试时候让CA保持和训练一致：使用“局部均值“来计算注意力。具体而言，TLC将全局CA转成了局部CA，其中最大的区别就是将全局池化层(global avgpool)转成了滑动窗口的普通avgpool。代码实现的实际上就是实现了"使用前缀和技巧加速"的”窗口大小为384、滑动步长为1“的池化（avgpool）。 优秀的性能提升主要就是缓解了训练和测试的不一致性：让CA操作在推理时也跟训练一样（使用全像的一个局部来计算均值）。 为了更详细的了解这个模块，你可以参考[TLC中文介绍](https://zhuanlan.zhihu.com/p/589701151)以及[原论文](https://arxiv.org/pdf/2112.04491.pdf)。 如果我有任何没有解释清晰的地方，或者你有任何其他想法，欢迎继续留言，我们可以一起探讨。

抱歉，我们没有尝试过