2021-CVPR-Completer icon indicating copy to clipboard operation
2021-CVPR-Completer copied to clipboard

关于自动编码器层

Open zhangyuanyang21 opened this issue 2 years ago • 4 comments

你好!请问自动编码器层可以单独拿出来训练多视图的重构损失吗?

zhangyuanyang21 avatar Jun 07 '22 03:06 zhangyuanyang21

目前方法实现是每个视图一个网络进行重构的。多视图的重构损失是指用一个网络重构所有视图吗?还是说只用重建损失训练网络?

Lin-Yijie avatar Jun 11 '22 07:06 Lin-Yijie

你好!每个视图一个网络进行重构的话,最后怎么进行多视图的协同训练呢?(即:多视图融合)

zhangyuanyang21 avatar Jun 20 '22 02:06 zhangyuanyang21

@zhangyuanyang21 训练时会通过对比损失和预测损失来学习模态间的一致性。测试时我们拼接不同视图的表示作为公共表示,然后通过kmeans验证表示学习的性能。

Lin-Yijie avatar Jun 21 '22 03:06 Lin-Yijie

谢谢!非常感谢您的回复!

zhangyuanyang21 avatar Jun 21 '22 08:06 zhangyuanyang21