Ultra-Fast-Lane-Detection-v2 icon indicating copy to clipboard operation
Ultra-Fast-Lane-Detection-v2 copied to clipboard
verified publisher icon cfzd

关于训练中断继续训练的问题

Open ennheng opened this issue 3 years ago • 5 comments

楼主你好！我在使用culane数据集训练的时候，由于电脑自动更新导致训练中断，我可以在log文件里看到已经迭代的次数吗？或者该怎样继续训练？期待楼主的回复:)

ennheng avatar Mar 29 '23 05:03 ennheng

@ennheng 你可以在生成的tensorboard log中看到训练了多久吗，如果你想重训，你可以看看启动程序时加入resume选项

cfzd avatar Mar 29 '23 11:03 cfzd

感谢楼主的回复！image 训练了16个小时左右 请问下楼主--finetune 是使用预训练模型继续训练吗 --resume是从中断处训练吗 resume后面的路径是哪里 是log里的model_best.pth吗？

ennheng avatar Mar 29 '23 11:03 ennheng

@ennheng 路径就是你想resume的那个模型的路径，具体可以看这部分代码： https://github.com/cfzd/Ultra-Fast-Lane-Detection-v2/blob/849fa7b90c189b646d12adc1d807bec54e982031/train.py#L97-L103

cfzd avatar Mar 30 '23 08:03 cfzd

楼主你好 谢谢你的回复 resume这样的报错是说明当时中断的epoch不完整吗 IMG_0986

ennheng avatar Mar 30 '23 08:03 ennheng

@ennheng 这个是恢复epoch失败了，你可以手动设置一下epoch就可以了

cfzd avatar Apr 13 '23 11:04 cfzd