PaddleX
PaddleX copied to clipboard
PaddlePaddle
tensorrt加速报错
问题类型：模型部署
问题描述
c# 调用 c++生成的.dll文件过程中开启了 tensorrt加速发生了报错，报错内容见以下图片，说的是‘please enable trt dynamic_shape mode by SetTRTDynamicShapeInfo’， 但不知如何配置的具体步骤，求解答。
请在这里描述您在使用过程中的问题，说明您的部署环境，部署需求，模型类型和应用场景等，便于开发人员快速响应。
部署环境是windows10,1080Ti,CUDA version: 10.2,CUDNN version: v7.6,TensorRT version: v7.
好的
---原始邮件--- 发件人: @.> 发送时间: 2021年9月30日(周四) 中午11:34 收件人: @.>; 抄送: @.@.>; 主题: Re: [PaddlePaddle/PaddleX] tensorrt加速报错 (#1172)
您好，分割模型的动态shape设置比较复杂，当前版本的paddle inference的trt支持尚未完备，需要等下一个版本
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.
如果你想挑战下。 可以参考这个文档， 把报错的每一个输入shape设置上即可。 https://github.com/PaddlePaddle/PaddleX/blob/release/2.0.0/deploy/cpp/docs/demo/tensorrt_infer.md
从我的报错类型来看，并没有提示那个具体节点信息形状未设置。
---原始邮件--- 发件人: @.> 发送时间: 2021年9月30日(周四) 下午5:31 收件人: @.>; 抄送: @.@.>; 主题: Re: [PaddlePaddle/PaddleX] tensorrt加速报错 (#1172)
如果你想挑战下。 可以参考这个文档， 把报错的每一个输入shape设置上即可。 https://github.com/PaddlePaddle/PaddleX/blob/release/2.0.0/deploy/cpp/docs/demo/tensorrt_infer.md
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.
第一个报错就是x，参照文档、修改demo/tensorrt_infer.cpp设置好输入x的shape就行了 第二个报错应该是你固化的有问题， 看起来还有个输入Y没固定， 具体需要你自己看看模型。 可以用visualdl查看下
我按照你的思路尝试一下，谢谢您的解答。
---原始邮件--- 发件人: @.> 发送时间: 2021年9月30日(周四) 下午5:45 收件人: @.>; 抄送: @.@.>; 主题: Re: [PaddlePaddle/PaddleX] tensorrt加速报错 (#1172)
第一个报错就是x，参照文档、修改demo/tensorrt_infer.cpp设置好输入x的shape就行了 第二个报错应该是你固化的有问题， 看起来还有个输入Y没固定， 具体需要你自己看看模型。 可以用visualdl查看下
— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.
您好，分割模型的动态shape设置比较复杂，当前版本的paddle inference的trt支持尚未完备，需要等下一个版本
使用Paddle-TRT TunedDynamicShape能力
