centernet-pytorch icon indicating copy to clipboard operation
centernet-pytorch copied to clipboard

为什么训练到第六轮停止训练了

Open lkhwhkzz opened this issue 1 year ago • 6 comments

image

lkhwhkzz avatar Oct 23 '23 02:10 lkhwhkzz

就是在保存五轮训练完模型参数文件之后就训练不动了

lkhwhkzz avatar Oct 23 '23 03:10 lkhwhkzz

经过查找是eval_period的原因,我更改eval_period=1它就会在训练第一轮之后保存验证的map结果后不动,设置eval_period=5的时候就出现第六轮不动,无奈我只能设置为100来进行训练,不知道具体怎么改才会正常进行eval的map验证 image

lkhwhkzz avatar Oct 27 '23 08:10 lkhwhkzz

大佬,我设置这个为5,当他训练第六轮的时候,total_loss就是nan了,请问这个问题你是怎么解决的?万分感谢

qq11-maker avatar Dec 07 '23 13:12 qq11-maker

大佬,我设置这个为5,当他训练第六轮的时候,total_loss就是nan了,请问这个问题你是怎么解决的?万分感谢

我的是验证完就停止了,然后我就把图片中的变量设置比最终训练的epoch还高或者相等就行 image

lkhwhkzz avatar Dec 07 '23 14:12 lkhwhkzz

也就是舍去了验证就可以

lkhwhkzz avatar Dec 07 '23 14:12 lkhwhkzz