转换成onnx模型后使用gpu推理速度比cpu还慢

[MgArcher]

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem

• 系统环境/System Environment：
• onnxruntime-gpu==1.9.0

在使用onnxruntime-gpu进行推理时发现一张图片耗时在3s以上，继续传入相同图片耗时下降到0.5s。更换图片传入耗时又在3s左右

[QQQTAO]

官方代码推理时onnxruntime没有使用GPU

[zyboyoung]

加一，也遇到这个问题，修改了onnx的推理代码加上gpu之后，发现推理速度比cpu慢很多，请教下是为什么呢

[Chenwe111]

加一，也遇到这个问题，修改了onnx的推理代码加上gpu之后，发现推理速度比cpu慢很多，请教下是为什么呢

我也遇到了，请问后来解决了吗

[alonge]

+1 同样的问题

[lsx66]

+1 遇到同样的问题, 有解决的吗

[478756994]

+1 遇到同样的问题, 有解决的吗

使用tensorrt provider