Triplet-Loss icon indicating copy to clipboard operation
Triplet-Loss copied to clipboard

使用casia_webface作为训练集 无法收敛的问题

Open Johere opened this issue 7 years ago • 5 comments

您好! 我使用casia_webface作为训练集,在resnet101上训练无法收敛,于是改用您在example里的网络结构,也无法收敛,loss一直在0.05上下震荡,这是我的solver文件: image 会是学习率设置过大的原因吗,请问您训练的时候用的solver参数是什么呢?

Johere avatar Jul 04 '17 03:07 Johere

@wujiyang 我用了40万张casia训练作者的resnet model,2万多iter后accu达到了95.5%,softmax loss还在0.3到1之间振荡,不知道作者的accuracy实现的怎么样?通过triplet loss之后有没有显著提升?

iamZe avatar Jul 04 '17 03:07 iamZe

@iamZe 您好!我现在也在用casia数据集并使用softmaxloss进行训练,可是loss一直在8.x,并且没有下降趋势,我用的是vgg16,accuracy也才0.00x。请问您的prototxt是什么样的,以及学习率如何设置呢?我的proto分类有10572类,学习率0.01和0.001都试过,也不好。。。

Johere avatar Jul 12 '17 08:07 Johere

@Johere,你现在收敛了吗?我的一开始训练就在0.002震荡

IrvingShu avatar Aug 14 '17 02:08 IrvingShu

@IrvingShu 没有。。 不过你的loss确实有点小,你用softmax预训练过了吗

Johere avatar Aug 14 '17 04:08 Johere

训练过了,现在数据量不够多,每个batch中的难样本比较少,以后再试试这个,谢谢

IrvingShu avatar Oct 27 '17 14:10 IrvingShu