IGEV icon indicating copy to clipboard operation
IGEV copied to clipboard

咨询:训练成本如何降低

Open BayMaxAC opened this issue 1 year ago • 2 comments

从预训练模型到微调的成本并不高,几个小时。但是在仿真数据集的训练一次,起码要耗时4天。 您在设计实验的时候有没有考虑一些降低实验成本的方法? 我在您的提问回答中看到,没有尝试直接在KITTI上进行训练。所以想了解下您是否尝试去降低训练成本,毕竟小一周才能看一次的话,实验很难推进下去。 也许是分割了数据集中的一小部分,作为一个基准,最后全部跑一次。如果是这样,恳请您能详细说下划分的方式和基准的参数。 也许是先依照不到200K的迭代次数,作为一个基准。如果是这样,也想请您详细述说。 这些都是我的一些猜测,因为我不太敢想想八卡服务器或者是好几台服务器混合做实验(贫穷限制了想象)。

BayMaxAC avatar Oct 10 '23 03:10 BayMaxAC

不需要八卡,两个3090卡就能训练的,训练一次3天左右吧

gangweiX avatar Oct 12 '23 14:10 gangweiX

是的大神,我现在就是不到四天才能跑完一次。 但是做实验的角度话,感觉还是很久。大神你是这样三四天看一次结果这样写完这个论文的么? 平时做实验不需要频繁看结果然后调整创新点么?(无助.png)

BayMaxAC avatar Oct 17 '23 11:10 BayMaxAC