gluon-face icon indicating copy to clipboard operation
gluon-face copied to clipboard

Published 20 hours ago • verified publisher icon THUFutureLab

使用ArcLoss时loss值nan？

Open Harry-675 opened this issue 4 years ago • 1 comments

您好，感谢您的工作，最近训练模型时用到了arcloss，得到的loss值是nan，请问您有遇到这个问题吗？另外cosloss看代码实现没有看到跟余弦、正弦相关的 计算，这个感觉跟定义不太一样。希望能得到您的解答！

Harry-675 avatar Mar 23 '20 04:03 Harry-675

arcloss 初期训练不稳定，可以先softmax预训练，然后finetune。

cosloss 论文中的定义是这样的，不需要计算cos/sin image

haoxintong avatar Mar 25 '20 03:03 haoxintong