TensorRT-For-YOLO-Series yolov8 inference

yolov8 inference

Open jhxiang opened this issue 1 year ago • 3 comments

请问一下为什么yolov8 end2end的推理，warmup和没有warmup时间相差这么多吗？没有warmup大概700ms，有warmup只有6ms，Infer函数不都是执行的图片放入gpu，然后推理结果从gpu放到内存吗？难道是warmup之后，图片不需要从内存到gpu了吗？另外，如果我是处理视频，需要实时从视频帧读取到gpu，这应该是没办法用warmup吧？这应该怎么处理？

Apr 21 '23 06:04 jhxiang

哥们给个联系方式我有一些问题想咨询你

May 08 '23 07:05 Yuanlin-Zhao

我主页有

May 08 '23 09:05 jhxiang

请问一下为什么yolov8 end2end的推理，warmup和没有warmup时间相差这么多吗？没有warmup大概700ms，有warmup只有6ms，Infer函数不都是执行的图片放入gpu，然后推理结果从gpu放到内存吗？难道是warmup之后，图片不需要从内存到gpu了吗？另外，如果我是处理视频，需要实时从视频帧读取到gpu，这应该是没办法用warmup吧？这应该怎么处理？

模型load以后可以warmup，使用空数据infer几次然后业务流来了以后直接推理

May 12 '23 02:05 Linaom1214

TensorRT-For-YOLO-Series TensorRT-For-YOLO-Series copied to clipboard

yolov8 inference

TensorRT-For-YOLO-Series
TensorRT-For-YOLO-Series copied to clipboard