Hui Li

还是能做一些增量性的工作。 1 可以引入transformer，虽然有人已经做了，但是可以更深入一些。 2 其次就是在这个训练框架上做纯transformer的结构。

这两个模型都是由[train_autoencoder.py](https://github.com/hli1221/imagefusion-nestfuse/blob/master/train_autoencoder.py)训练得到，可以参考相关代码

是的，但是这些可以在读取数据的时候同步进行。需要将图片转换为灰度图，大小为256*256. 但是大小并不唯一，可以是其他数值，256只是论文中的设置。

你好，谢谢你的关注。最后三个都是你的结果吗，他们有什么区别。 然后根据你的问题，首先要看测试数据集是否一致。在相同情况下再看代码设置，其中一个原因可能是因为训练数据集选择的问题。kaist总量是超过80000的，所以我在程序里是随机选80000进行训练，而且网络参数的初始化也是随机的，所以不可避免的会导致每次训练得到的模型不同。

Hi, thanks for your attention. I am very sorry to reply you so late. For the first question, the RFN was embedded into tracker (like Siamese RPN++) to fuse deep...

Hi, thanks for your attention. The 'one image' means one modality data. For training phase, it means visible image.

For the training phase, YES. That is why it's called autoencoder.

你好，感谢你的反馈。我会重新下载GitHub版本的代码进行测试，有任何变化我会及时回复。

你好，我这边本地测试没有问题，可以跑出正常结果。代码就是github上的版本。 出现问题的原因也许是代码库版本问题，我目前测试适用的版本：pytorch=1.5，python=3.7 建议再测试看看。

你好，有三种方式。 1 将输入RGB的3个通道和红外图像分别融合，最终在组成融合后的RGB图。 1 可以说使用颜色空间转换方式对RGB图像做转换（YCbCr），然后使用此方法对Y分量和红外分量做融合，最后再加上颜色分量。 2 自己训练一个输入和输出都是3通道的融合模型。