RobustVideoMatting
RobustVideoMatting copied to clipboard
尝试训练过程中固定种子,但复现结果仍不稳定
我尝试使用RVM的训练代码进行结果的复现,但是在训练代码的初始阶段加入固定种子的代码段后训练过程中依然出现了偏差。
加入的代码段如下:
请问作者大大是否遇到过类似的问题或有解决这种问题的经验?
@huangfeihongthegreast123 你好,请教一下,我按照论文中提供的关键字爬取了背景图片并重新训练了模型,我使用了论文中所有的数据集,正如论文描述的那样训练,不过训练时我的序列长度比论文中要短,因为我的GPU内存较小。但是,我训练的模型预测fgr的结果和官方的fgr结果有很大的区别,正如下图所示,我训练的模型预测的fgr没有像官方的fgr那样嘈杂,你可以看到,官方模型预测的fgr(图1)包含了原来背景的信息,可以看到人的背景是绿色的树木,但我的模型的预测结果(图2)中却没有这些背景信息。请注意,这不是偶然,几乎所有测试数据结果都是类似的,图2是预测的fgr,而不是fgr的label,虽然看起来和label很接近。我特意检查了训练fgr所用的Loss,的确跟官方一样,而且我使用的代码是官方的最新版本。你在训练中有遇到这个问题吗?或者你知道是什么原因导致这种区别吗?很期待你的回复,谢谢。
图1 官方模型预测的fgr
图2 我训练的模型预测的fgr
请问你找到原因了吗,我训练出的fgr和官方一样,但我想要你这种fgr😂
@li-wenquan
You need to train on stage 4 using Distinctions and AIM dataset. VideoMatte240k dataset has pretty bad foreground samples so the network will learn to make the background all black.
@PeterL1n 非常感谢你的回复,我想我应该找到原因了,不过不是因为我没有使用Distinctions 和AIM(正如我上面所说,我使用所有的数据),问题的原因应该是我没有正确利用Distinctions 和AIM数据集,我犯了一个错误,在很久之前,我使用Distinctions 和AIM的pha和image合成fgr,这是错误的,这会造成fgr质量下降,用于训练的fgr应该是image才对。“VideoMatte240k dataset has pretty bad foreground samples so the network will learn to make the background all black.”你回复的这句话引导我找到了答案,非常感谢,我会重新训练stage 4。
你好,请问使用的数据集能给具体名称吗?非视频分割方向,但需要利用类似的人像数据集