Self-Cure-Network icon indicating copy to clipboard operation
Self-Cure-Network copied to clipboard

Published 20 hours ago • verified publisher icon kaiwang960112

关于self-attention模块的问题

Open hanluyt opened this issue 2 years ago • 3 comments

作者您好，您在文中用了self-attention模块来学习每张图的weight, 我参考了您的代码，在一开始训练时每张图的weight各有不同，但在迭代完一个epoch时，每张图的weight都趋近于1了，我想请问一下您之前是否出现过这种情况，或者有什么解决方法呢，谢谢！

hanluyt avatar Sep 13 '22 05:09 hanluyt

需要加一下loss，让这个权重有差异，论文里应该提到了这点

发自我的iPhone

在 2022年9月13日，下午1:08，hanluyt @.***> 写道：

 作者您好，您在文中用了self-attention模块来学习每张图的weight, 我参考了您的代码，在一开始训练时每张图的weight各有不同，但在迭代完一个epoch时，每张图的weight都趋近于1了，我想请问一下您之前是否出现过这种情况，或者有什么解决方法呢，谢谢！

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.

kaiwang960112 avatar Sep 13 '22 06:09 kaiwang960112

好的，谢谢您的答复

hanluyt avatar Sep 14 '22 02:09 hanluyt

您好！请问您还保存了SCN的完整代码么？可以分享一下么？非常感谢！

Yiqin-Luo avatar Oct 24 '22 02:10 Yiqin-Luo