推理速度慢

[yuanxiaoxiaogit]

您好，我用您的代码去跑的时候，发现推理速度并没有您说得那么快，yolox推理一张图片需要100ms左右，请问是什么原因呢

[ifzhang]

We use a V100 GPU for inference and the YOLOX-X detection part takes about 30 ms using fp16. You can check whether you use fp16 for inference.

[Bruce-Si]

您好，我在v100上用fp16跑了demo，FPS只有2.4左右...是哪里参数没用对吗？ @ifzhang

[dcstempt]

我用A4000显卡，采用C++/TensorRT推理加速，YOLOv8s模型为检测头，模型推理一帧6ms，跟踪预测一帧，大概在500微秒的样子。总共一帧的预测+跟踪，大概就是6.5ms

[yuqizhi]

@dcstempt 你跟踪效果好吗