arcface-caffe icon indicating copy to clipboard operation
arcface-caffe copied to clipboard

caffe 训练速度仍然很慢,请问作者后来有发现这个问题吗,

Open shiyuanyin opened this issue 5 years ago • 14 comments

@xialuxi ,谢谢您的回复,我上午看了adaface的论文的实现
用caffe 训练很慢的原因请问作者后来有发现吗,前向传播我觉得挺快的 我设置的参数是batch size=56 l两块1080 iter_size:6 /57597324-8428ad00-7581-11e9-9fa1-e2d72d0446f7.png) 12:49:24.228211 23509 solver.cpp:243] Iteration 0, loss = 24.1503 I0513 12:49:24.228235 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.839286 I0513 12:49:24.228257 23509 solver.cpp:259] Train net output #1: softmax_loss = 22.5511 (* 1 = 22.5511 loss) I0513 12:49:24.228299 23509 sgd_solver.cpp:138] Iteration 0, lr = 0.01 I0513 12:54:50.852994 23509 solver.cpp:243] Iteration 100, loss = 20.3324 I0513 12:54:50.853057 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.928571 I0513 12:54:50.853081 23509 solver.cpp:259] Train net output #1: softmax_loss = 17.7896 (* 1 = 17.7896 loss) I0513 12:54:50.923504 23509 sgd_solver.cpp:138] Iteration 100, lr = 0.01 I0513 13:00:39.458894 23509 solver.cpp:243] Iteration 200, loss = 18.8438 I0513 13:00:39.459019 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.964286 I0513 13:00:39.459044 23509 solver.cpp:259] Train net output #1: softmax_loss = 16.4004 (* 1 = 16.4004 loss) I0513 13:00:39.500185 23509 sgd_solver.cpp:138] Iteration 200, lr = 0.01 I0513 13:06:26.364652 23509 solver.cpp:243] Iteration 300, loss = 18.461 I0513 13:06:26.364759 23509 solver.cpp:259] Train net output #0: accuracy-t = 0.946429 I0513 13:06:26.364783 23509 solver.cpp:259] Train net output #1: softmax_loss = 16.8125 (* 1 = 16.8125 loss)

shiyuanyin avatar May 13 '19 05:05 shiyuanyin

你用的什么网络训练的,使用的什么数据,数据规模多大?

xialuxi avatar May 13 '19 05:05 xialuxi

除了 lost adaface 不一样 ,其他都一样的情况下,收敛速度loss好慢啊,

wavelet2008 avatar Jun 17 '19 09:06 wavelet2008

说实话,这个损失函数的效果并没有论文说的那么好,感觉还是原始的arcface的比较work。 建议使用arcface

xialuxi avatar Jun 17 '19 09:06 xialuxi

说实话,这个损失函数的效果并没有论文说的那么好,感觉还是原始的arcface的比较work。 建议使用arcface

谢大神

wavelet2008 avatar Jun 17 '19 09:06 wavelet2008

说实话,这个损失函数的效果并没有论文说的那么好,感觉还是原始的arcface的比较work。 建议使用arcface Iteration 12000次 loss 从16.4 降到14.9 正常吗, 其他的loss 早就降到loss=1.0以内了

wavelet2008 avatar Jun 17 '19 10:06 wavelet2008

我自己训练的时候,acc=0.98左右, loss = 5.8左右,感觉是有点不是很正常,loss太高了。 测试效果也是不理想,参考别人的论文以及看法,这个损失函数确实有水分。

xialuxi avatar Jun 17 '19 10:06 xialuxi

loss 开始高 没有关系,跟数据有关系,主要是降的太慢,又回到loss=15.1,晚上跑一晚上看看,能不能降到1以内

wavelet2008 avatar Jun 17 '19 10:06 wavelet2008

我自己训练的时候,acc=0.98左右, loss = 5.8左右,感觉是有点不是很正常,loss太高了。 测试效果也是不理想,参考别人的论文以及看法,这个损失函数确实有水分。

说实话,这个损失函数的效果并没有论文说的那么好,感觉还是原始的arcface的比较work。 建议使用arcface

大神我用arcface 训练三天三夜,acc=0.984. loss=1.x 有什么办法让acc=0.99+ 不改变训练的数据情况下

wavelet2008 avatar Jun 24 '19 03:06 wavelet2008

可以试一下调整动量momentum。

xialuxi avatar Jun 24 '19 03:06 xialuxi

可以试一下调整动量momentum。

大神 昨晚把动量从0.92调到0.9 m 0.35->0.4 acc=0.99 不知道收敛到0.996+

wavelet2008 avatar Jun 25 '19 01:06 wavelet2008

@wavelet2008 你们说的acc是fc6层作为输入的acc么?请问训练过程中AdaCosAddmScale的acc大概能到多少

Laulian avatar Jul 04 '19 08:07 Laulian

抱歉,caffe 训练慢的问题没有解决,还是那么慢,也没有花时间研究,但是很多时间都消耗在网络的运行,我试着减少打印损失值的输出,节省时间

------------------ 原始邮件 ------------------ 发件人: "xialuxi"[email protected]; 发送时间: 2019年6月17日(星期一) 下午5:48 收件人: "xialuxi/arcface-caffe"[email protected]; 抄送: "史诗"[email protected];"Author"[email protected]; 主题: Re: [xialuxi/arcface-caffe] caffe 训练速度仍然很慢,请问作者后来有发现这个问题吗, (#26)

说实话,这个损失函数的效果并没有论文说的那么好,感觉还是原始的arcface的比较work。 建议使用arcface

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or mute the thread.

shiyuanyin avatar Jul 09 '19 07:07 shiyuanyin

@wavelet2008 你们说的acc是fc6层作为输入的acc么?请问训练过程中AdaCosAddmScale的acc大概能到多少

同问~

WW2401 avatar Oct 21 '19 11:10 WW2401

训练速度多少? 每秒86个samples?

erow avatar Dec 28 '19 12:12 erow