CRA-PCN icon indicating copy to clipboard operation
CRA-PCN copied to clipboard

请问下作者,训练完mvp数据集后,如何得到ckpt-best.pth,进行测试?

Open lsy-study opened this issue 1 year ago • 7 comments

我训练完之后得到了一个关于checkpoints的文件夹,里面是包含每5个enpoch得到的.pth文件,但是不知道ckpt-best.pth是哪一个,请问有什么方法去得到吗? 屏幕截图 2024-04-28 115751 屏幕截图 2024-04-28 115850

lsy-study avatar Apr 28 '24 04:04 lsy-study

我们训练的时候每5轮存一个权重(不进行测试),然后在测试时逐个测试取最好的。 (很抱歉引起了误解

EasyRy avatar Apr 28 '24 07:04 EasyRy

那要一个一个测试对吗?这样的时间太长了,请问下您那边能把mvp数据集上的ckpt-best.pth上传一下,或者发送给我一下吗,我看您这边已经上传了关于pcn数据集上的ckpt-best.pth,感谢

lsy-study avatar Apr 28 '24 07:04 lsy-study

论文里的结果是在原来的code base上训的,原始权重我会再去找一下。另外,我也会尝试用现在的代码复现结果。工作日比较忙,会在假期搞一下,感谢理解。

您也可以测试下您训练的30-60轮之间的结果,最好的结果应该在这个范围内。

EasyRy avatar Apr 29 '24 14:04 EasyRy

好的,您好这边我有这几个问题。1.训练权重最好的是30-60轮的结果,是如下图所示的吗?(此文件是从您论文在mvp数据集训练得来)
2.那我是否能把论文中的enpoch调整到60或者是100等来减少训练时间?
3.能否直接让训练生成一个最好的ckpt-best.pth,这样的话我就直接测试一次就行,减少测试时间
4.您训练最好的enpoch也是在30-60之间得来的吗? 5.测试完成之后如何进行点云结果的可视化? 由于我刚接触点云这个方向,很多方面了解不够,实属冒昧。如果您能回答我将感激不尽。另外,祝您五一愉快!

lsy-study avatar May 02 '24 05:05 lsy-study

image

lsy-study avatar May 02 '24 05:05 lsy-study

您好,五一快乐。

  1. 是的。
  2. 改变训练的总epoch会改变学习率,也许会影响最终结果;您不妨在60轮时直接停止训练。
  3. ckpt-best.pth的得到需要进行测试,PCN数据集上的最好的权重就需要在训练的每一轮进行验证(也就是测试);当然也可以直接使用最后一轮的权重做 ckpt-best.pth,但效果不一定好。
  4. 对的。
  5. 您可以将推理的结果用open3d保存成点云,然后用meshlab等进行可视化。

ps: 我们的模型在PCN和ShapeNet-55/34上训练时不会出现过拟合的问题,因此直接拿最后一轮训练的权重来测试结果大差不差。但是在MVP上我们的模型就会过拟合,测试时我们发现60轮左右结果最好。

EasyRy avatar May 04 '24 05:05 EasyRy

您好,MVP的权重已上传。存放在pretrain/mvp文件夹下。

EasyRy avatar May 07 '24 02:05 EasyRy

好的,十分感谢您的回复! 现在我对您的模型稍微做了一下调整,但是在第训练pcn数据集时在第46个enpoch时候出现nan的错误,跑的时候是按照您那边dist_recip = 1.0 / (dis + 5e-4)调整的结果。 现在的话,是否还是这个5e-4的原因,我可以怎么样去替换5e-4的值,是变大还是变小,但是之前使用过1e-6,在第三个enpoch出现了nan的错误。现网上查阅了资料说是可以通过降低学习率去解决,但是这是否会影响性能。希望您能给我些建议,我将不胜感激! image

lsy-study avatar May 30 '24 04:05 lsy-study

您好! 看起来37轮就出问题了。我觉得5e-4这个常数应该不需要调整了。 可能有效的方法: 1.我猜测是seed generator出问题了,您可以尝试换seed generator试一下。 2.或者多次训练,看一下会不会nan。 至于学习率,我认为调小会影响实验结果,可能无法收敛到最好的结果。

EasyRy avatar Jun 01 '24 09:06 EasyRy

Close this issue since no more responses. If you have more problems, feel free to reopen it.

EasyRy avatar Jul 05 '24 11:07 EasyRy