RainNet
RainNet copied to clipboard
junleen
关于分辨率
我想请问一个问题，对于这个项目的模型，可以处理高分辨率2k、4k的图像或者视频吗，还是说对于任意分辨率的输入，输出结果都是256，有什么方法可以实现高分辨率图像和谐化呢
这是我使用1920*1080测试的结果，得到256分辨率
我想请问一个问题，对于这个项目的模型，可以处理高分辨率2k、4k的图像或者视频吗，还是说对于任意分辨率的输入，输出结果都是256，有什么方法可以实现高分辨率图像和谐化呢
我又在HCOCO照了一张图像进行测试，得到的效果不是很理想 这是真实图像 GT
这是运行后结果图
这是输入的合成图
第一个问题：我之前用多卡并行训练了一个512x512分辨率的模型，我只测了客观指标，还没有看具体的结果，麻烦您帮我也试一下哈。模型链接在这https://github.com/junleen/RainNet#update
第二个问题：这个case有点意思，局部靠近边界的地方产生了一些怪怪的颜色，我后面可能得具体找找原因，感谢您的提问。
第一个问题：我之前用多卡并行训练了一个512x512分辨率的模型，我只测了客观指标，还没有看具体的结果，麻烦您帮我也试一下哈。模型链接在这https://github.com/junleen/RainNet#update
第二个问题：这个case有点意思，局部靠近边界的地方产生了一些乖乖的颜色，我后面可能得具体找找原因，感谢您的提问。
感谢您的及时回复，
1.我测试的这张图是HCOCO数据集的c10123_2152925_1.jpg图片，您可以自己测试一下，看看是否和我一样的效果
2.对于新的模型，除了修改模型，对于test.py 文件 testdata = TestDataset(foreground_paths=comp_path, mask_paths=mask_path, background_paths=real_path, load_size=256)，这个load_size 设置有什么影响吗，我尝试我这里最高设置1024，输出为1024。
对于原始的load_size=256：得到这个结果
我修改load_size=1024，得到这个结果
您看一下有什么区别
一般是在多少分辨率训练的，就在多少分辨测试。如果是512分辨率的话，用256测试可能不太行。您这里尝试的测试结果，在1024分辨率感觉还挺好的呀。
1.是的，我也觉得效果很好，那我如何才能测试更大分辨率的图像呢，比如2k、4k之类的图像
2.对于咱们这个实现和谷歌（https://github.com/augmentedperception/total_relighting）的这个实现，本质一样吗，都是处理合成之后的效果
3.这个项目，相较于其他的两个项目，有什么不同之处呢
https://github.com/bcmi/BargainNet-Image-Harmonization
https://github.com/bcmi/Image-Harmonization-Dataset-iHarmony4
谢谢提问！
- 2K、4K图像的话，可能得找轻量化的卷积模块，再加上我们的RAIN模块，现有的设计往高分辨率做容易消耗比较多的显存
- 跟Google的论文方法和效果不是一样的。他的效果也还挺好的，但是偏向于环境光照的特征，可以跟进研究一下。事实上我们的目的是一样的，make the composite image more photo-realistic
- 这个不就是不同的论文方法嘛
3. 的论文方法嘛
1感谢您的回复，我能输出分辨率不一样的图像吗，比如19201080 ，还是说只能输出2的n次方数值（256256、512512、10241024、2048*4028...）
2.
我用新的512模型测试一张图像，
谢谢提问！
- 2K、4K图像的话，可能得找轻量化的卷积模块，再加上我们的RAIN模块，现有的设计往高分辨率做容易消耗比较多的显存
- 跟Google的论文方法和效果不是一样的。他的效果也还挺好的，但是偏向于环境光照的特征，可以跟进研究一下。事实上我们的目的是一样的，make the composite image more photo-realistic
- 这个不就是不同的论文方法嘛
您好，我想请教一下，
1.对于图像是不是需要固定特殊的尺寸，比如2的n次幂，能不能实现任意图像的处理，无需进行resize处理
2. 是不是对于任意的提取特征的网络作为骨架都是可行的，比如现在常用的ResNet 以及MobileNetv3 ，在这些特征图之间加上Rain模块可以实现
3. 对于速度上有什么好的优化呢，我测试的一张图像只进行处理最快大概需要1.2-1.3s，能不能实现实时（30fps）
