ECCV2022-RIFE
ECCV2022-RIFE copied to clipboard
关于RIFE_HDv3的一些疑惑
模型很好用!好像RIFE_HDv3的效果更好,RIFE_HDv3细节上和论文的RIFE有什么不同呢?
它是基于 RIFEm 的面向应用版本 在设计面向视觉效果的模型时,我们实验性地发现了几个 trick
- pyramid 多一个阶段,再加上训练时随机对图片进行 resize 2x 增广,可以改进在实用的 1080p 视频插帧效果
- 去掉 refinenet 主观效果更好,我们认为视觉效果可能主要取决于光流估计的稳定性和精度,这样也能使网络明显加速
- 训练时间延长 4x,模型依然在涨点
- 在光流上加上适当的平滑性约束,可以避免一些重复 pattern case 上的预测混乱问题
除了以上4点,RIFE_HDv3是否有使用更多的数据呢?
@zzh-tech 加上ATD12k,但是没明显效果
谢谢答复~
它是基于 RIFEm 的面向应用版本
RIFEm是arbitrary time的吧?我看RIFE_HDv3是fixed time版本,为什么说是基于RIFEm的呢?
我的观察是arbitrary time模型的效果普遍不如fixed time模型通过iteration插值得到结果的效果。 请问arbitrary time除了可以指定时间以外,还有什么优势呢?
pyramid 多一个阶段
我发现最新版本,无论是refinenet,还是contextnet,unet都去掉了,只剩下3个IFBlock。 意思是之前的contextnet和unet对实际视觉效果也没啥帮助吗?