使用use_trt_backend()报错

[fanyuanxiang]

主要代码： option = fd.RuntimeOption() option.use_gpu() option.use_trt_backend() start = time.time() print("time:",start)

model = vision.detection.YOLOv3("assets/model.pdmodel", "assets/model.pdiparams", "assets/infer_cfg.yml",option)

报错： [ERROR] fastdeploy/backends/tensorrt/trt_backend.cc(573)::CreateTrtEngineFromOnnx Failed to parse ONNX model by TensorRT. [ERROR] fastdeploy/backends/tensorrt/trt_backend.cc(265)::InitFromOnnx Failed to create tensorrt engine. [ERROR] fastdeploy/runtime.cc(633)::CreateTrtBackend Load model from Paddle failed while initliazing TrtBackend. 已放弃 (核心已转储)

[jiangjiajun]

@fanyuanxiang Hi, 方便上传一下你的模型吗

[fanyuanxiang]

这是一个测试模型，使用其他backend类型可以推理，只用使用trt_backend会报错 cat infer_cfg.yml

mode: paddle draw_threshold: 0.5 metric: VOC use_dynamic_shape: false arch: YOLO min_subgraph_size: 3 Preprocess:

• interp: 2 keep_ratio: false target_size:
  • 608
  • 608 type: Resize
• is_scale: true mean:
  • 0.485
  • 0.456
  • 0.406 std:
  • 0.229
  • 0.224
  • 0.225 type: NormalizeImage
• type: Permute label_list:
• crazing
• inclusion
• pitted_surface
• scratches
• patches
• rolled-in_scale

[fanyuanxiang]

@fanyuanxiang Hi, 方便上传一下你的模型吗

附件太大了， https://cowtransfer.com/s/f484c56571304a 点击链接查看 [ yolov3_mobilenet_v1_mine.zip ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 2jek12 查看；

[jiangjiajun]

@fanyuanxiang Hi， 这个模型你之前用Paddle框架加载测试过吗？ 我测试发现这个模型无法正常使用Paddle加载，怀疑目录中的model.pdiparams不合法

[fanyuanxiang]

@fanyuanxiang Hi， 这个模型你之前用Paddle框架加载测试过吗？ 我测试发现这个模型无法正常使用Paddle加载，怀疑目录中的model.pdiparams不合法

thanks for your reply.

您再试试这个，可能是解压缩除了问题, 我当时测试任何一个backend 只有gpu的tensorRT会报错，我现在没有GPU资源不到还能不能复现，

https://cowtransfer.com/s/cb427a50979a40 点击链接查看 [ yolov3_mobilenet_v1_mine (1).zip ] ，或访问奶牛快传 cowtransfer.com 输入传输口令 m6o1mf 查看；

[jiangjiajun]

HI，我复现了你的问题，但是单纯使用fd.Runtime加载模型会出现这个问题。

如果使用examples/vision/detection/paddledetection/python/infer_yolov3.py是可以正常推理部署的（TensorRT），使用如下命令

python infer_yolov3.py --model_dir /huangjianhui/jiangjiajun/FastDeploy/examples/runtime/model_dir --image 000000014439.jpg --device gpu --use_trt True

因为在fastdeploy.vision.YOLOv3有对模型进行处理，使得其可以成功跑在TRT上，在您找到GPU后，麻烦安装一下最新的FastDeploy进行测试下哈

如若有问题，可随时更新在这里，我会持续跟进