LibtorchTutorials icon indicating copy to clipboard operation
LibtorchTutorials copied to clipboard

Published 20 hours ago • verified publisher icon AllentDan

Libtorch推理时间问题

Open oym1994 opened this issue 2 years ago • 3 comments

您好，非常感谢您提供的教程，我在利用RTX3080和训练好的模型推理过程中遇到这样的奇怪问题： 利用ros播放bag包， 程序从ros topic中获取， 第一次推理时间为0.2s，而后20次推理时间为12s左右，这之后的推理时间稳定在0.03s左右了，请问您有遇到过类似的现象吗？有什么好的解决办法呢？谢谢啦

oym1994 avatar Nov 10 '21 04:11 oym1994

Hi, 回得慢不好啥意思哈。计时如果有用cuda的话，需要先synchronize再计算会准确。此外模型一般前期的几次推理会慢，几次后会速度趋于稳定

AllentDan avatar Nov 19 '21 09:11 AllentDan

谢谢回复哈！我这出现的情况更不同，第一次推理很快，而后约20次推理非常慢，之后推理速度才正常快了

oym1994 avatar Nov 22 '21 07:11 oym1994

谢谢回复哈！我这出现的情况更不同，第一次推理很快，而后约20次推理非常慢，之后推理速度才正常快了

没遇到过😂

AllentDan avatar Nov 22 '21 07:11 AllentDan

我也遇到了同样的问题，请问你是怎么解决的呀？

WangGewu avatar Oct 19 '22 10:10 WangGewu