Voxel-MAE icon indicating copy to clipboard operation
Voxel-MAE copied to clipboard

How to judge whether the model is trained properly based on OpencDet

Open strugglingguoguo opened this issue 2 years ago • 2 comments

Dear author,hello.The pretrained model Voxel-MAE you proposed is very ingenious.I'm trying to replicate your work. 我做了两组实验: 实验1:SECOND训练20轮,V-M训练20轮后再训练SECOND20轮,后者效果显著好于前者。 实验2:SECOND训练200轮,V-M训练20轮后再训练SECOND200轮,前者效果好于后者。 考虑到训练过拟合,我又补充实验3:SECOND训练80轮,发现其在Car和骑行者的检测结果好于SECOND训练200轮,但是在行人检测上SECOND训练200轮效果更好。 我很疑惑,目前怀疑训练过拟合,但是我无法将loss曲线与eval准确率曲线在同一张图中可视化,无法判断合适的模型训练轮数。 请问作者如何判断模型训练恰到好处呢? I would appreciate it if you could reply to me.

strugglingguoguo avatar Jul 08 '22 03:07 strugglingguoguo

Dear author,hello.The pretrained model Voxel-MAE you proposed is very ingenious.I'm trying to replicate your work. 我做了两组实验: 实验1:SECOND训练20轮,V-M训练20轮后再训练SECOND20轮,后者效果显著好于前者。 实验2:SECOND训练200轮,V-M训练20轮后再训练SECOND200轮,前者效果好于后者。 考虑到训练过拟合,我又补充实验3:SECOND训练80轮,发现其在Car和骑行者的检测结果好于SECOND训练200轮,但是在行人检测上SECOND训练200轮效果更好。 我很疑惑,目前怀疑训练过拟合,但是我无法将loss曲线与eval准确率曲线在同一张图中可视化,无法判断合适的模型训练轮数。 请问作者如何判断模型训练恰到好处呢? I would appreciate it if you could reply to me.

是在KITTI上做的实验吗?KITTI数据量小,结果不稳定,会有小的变化。我也不知道啥时候最好。也还在做实验。

chaytonmin avatar Jul 08 '22 03:07 chaytonmin

感谢作者!我是在kitti上做的实验,后续也在其他更大型数据集做一下实验

strugglingguoguo avatar Jul 08 '22 05:07 strugglingguoguo