FastDeploy serving部署，设置tensorrt推理引擎无效

serving部署，设置tensorrt推理引擎无效

Open richjjj opened this issue 1 year ago • 3 comments

镜像是paddlepaddle/fastdeploy:0.3.0-gpu-cuda11.4-trt8.4-21.10

Oct 13 '22 09:10 richjjj

配置有换成GPU吗？ TensorRT只能跑在GPU上，比如配置改成如下:

instance_group [ { count: 1 kind: KIND_GPU gpus:[0] } ]

runtime的config配置可以参照这个文档，有详细介绍: https://github.com/PaddlePaddle/FastDeploy/blob/develop/serving/docs/zh_CN/model_configuration.md

Oct 13 '22 13:10 heliqi

有的，输出日志是 Backend::ORT in Device::GPU

Oct 13 '22 14:10 richjjj

是哪个模型？有删掉重新拉最新的镜像吗（中间有更新）？我这边测试yolo是可以的启动的

如果是最新镜像，麻烦提供下模型，我这边验证下

Oct 14 '22 12:10 heliqi

嗯嗯，新版本的镜像没问题啦

Oct 16 '22 14:10 richjjj