RobustVideoMatting icon indicating copy to clipboard operation
RobustVideoMatting copied to clipboard

关于训练,第三阶段中途测试结果比第二阶段测试效果差是什么原因?

Open zhanghongyong123456 opened this issue 3 years ago • 5 comments

我训练第二阶段测试结果是这样的: 2022-03-21 12-26-47 的屏幕截图 第三阶段训练测试得到这样的结果: 2022-03-21 12-25-57 的屏幕截图 这明显比第二阶段差很多,这是什么原因呢? 我分割数据集采用的是(768,432)像素大小图像,并且也是采用的代码合成图的方式:分为fgr、bgr(分割用的其实就是抠像的低分辨率数据集),会不会和这个有关系呢, 抠像小分辨率是(768,432),高分辨率是(3840,2160)以及(1920,1080),他们属于一个数据集,只是分辨率不同 这是我在tensorboard查看的训练真实alpha以及预测alpha展示图: 真实alpha: imageData 预测的alpha: imageData_pred

zhanghongyong123456 avatar Mar 21 '22 04:03 zhanghongyong123456

为什么你的alpha背景是白色前景是黑色?不应该背景黑色前景白色吗?

PeterL1n avatar Mar 25 '22 07:03 PeterL1n

为什么你的alpha背景是白色前景是黑色?不应该背景黑色前景白色吗?

我训练的背景,而非前景,我把前景预测注释掉了(前面测试过可以得到不错的结果,这里的数据集采用代码外合成,就是没有fgr图像,直接是合成图),后续增加了数据集,我将分割数据集(这里使用抠像高分辨率数据集)以及抠像数据集全部采用代码动态合成的方式加载(依旧没有前景预测),目的增加数据多样性,这样反而得到了不好的效果,我不太能看懂tensorboard里面的loss曲线,因为他不是下降趋势,感觉一直在稳定状态,请您分析一下: 1.前景预测影响有多大,由于我是通过训练背景获取alpha,反转可以得到我想要的前景alpha,这里前景预测就相当于预测我真实数据的背景,后续用不上就去掉了,因为我是在特定纯色场景抠像,前景比背景复杂的多) 2.下面是我的loss图:(这里没有设置阶段四,因为数据集制作原因,阶段四、阶段三使用相同视频数据集,第一阶段loss中途死机,所以有两份) 阶段一: 图像分割损失: stage1_seg stage1_1_seg

      视频分割损失:

stage1_video stage1_1_video

      序列损失:

stage1_train_lr_pha_coherence stage1_1_train_lr_pha_coherence

      l1损失:

stage1_train_lr_pha_l1 stage1_1_train_lr_pha_l1

      金字塔损失:

stage1_train_lr_pha_laplacian stage1_1_train_lr_pha_laplacian

      总损失:

stage1_train_lr_total stage1_1_train_lr_total

阶段二: 图像分割损失: stage2_seg

      视频分割损失:

stage2_video

      序列损失:

stage2_train_lr_pha_coherence

      l1损失:

stage2_train_lr_pha_l1

      金字塔损失:

stage2_train_lr_pha_laplacian

      总损失:

stage2_train_lr_total

阶段三: 图像分割损失: stage3_seg

      视频分割损失:

stage3_video

      低分辨率序列损失:

stage3_train_lr_pha_coherence

      低分辨率l1损失:

stage3_train_lr_pha_l1

      低分辨率金字塔损失:

stage3_train_lr_pha_laplacian

      低分辨率总损失:

stage3_train_lr_total

      高分辨率序列损失:

stage3_train_hr_pha_coherence

      高分辨率l1损失:

stage3_train_hr_pha_l1

      高分辨率金字塔损失:

stage3_train_hr_pha_laplacian

      高分辨率总损失:

stage3_train_hr_total

zhanghongyong123456 avatar Mar 26 '22 03:03 zhanghongyong123456

请问他有个背景数据集没有公开怎么能训练呀 Image Backgrounds Train set: We crawled 8000 suitable images from Google and Flicker. We will not publish these images.

chainsean avatar May 13 '22 06:05 chainsean

请问他有个背景数据集没有公开怎么能训练呀 Image Backgrounds Train set: We crawled 8000 suitable images from Google and Flicker. We will not publish these images.

可以自己找一些背景图片,根据给定的一些关键词。

zhanghongyong123456 avatar May 14 '22 02:05 zhanghongyong123456

你好,请问能分享一下你的数据集吗,我的邮箱是[email protected],如果不行的话能问问具体是需要什么类型的背景图吗

chainsean avatar May 14 '22 05:05 chainsean