关于混合损失的问题

[1741607718]

我在代码里看见您在计算损失函数时，只计算重建的两张图像被mask区域的损失，对于这一点我没有异议。但是在target的设置上，我看您是直接是用源单张图像作为目标图像标签，而非源混合图像作为目标图像标签。不知道我描述得是否正确，还请您解惑

[xXuHaiyang]

冒昧回答，事实上在这里 unmix_x_rec ，由于 mask_ratio 为 50%，因此 x1_rec 和 x2_rec 是“互补”的。这两份“互补”的 tokens 再加起来，就是一张“完全”图像的 reconstruction 结果，对应的 target 也就是单张图像。

[1741607718]

感谢您的回复，深受启发。

------------------ 原始邮件 ------------------ 发件人: "Sense-X/MixMIM" @.>; 发送时间: 2023年6月14日(星期三) 凌晨1:04 @.>; @.@.>; 主题: Re: [Sense-X/MixMIM] 关于混合损失的问题 (Issue #13)

冒昧回答，事实上在这里 unmix_x_rec ，由于 mask_ratio 为 50%，因此x1_rec和x2_rec是“互补”的。这两份“互补”的tokens再加起来，就是一张“完全”图像的reconstruction结果，对应的target也就是单张图像。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>