PaddleX
PaddleX copied to clipboard
使用TensorRT部署加载FasterRCNN模型时报错
系统环境为:win10+cuda11.2+cudnn8.1+TensorRT8.0.1.6+Python3.8
当使用pdx.deploy.Predictor初始化加载模型时,use_trt=False时能正常加载,=True时会报错。代码及报错如下图
当加载的模型为PPYolov2时,则不会报错,但是加载时间会长达2-3分钟,然后便能正常运行预测,是否正常?
该报错情况为已知问题。FasterRCNN模型使用trt加速需要设置子图的dynamic shape,较为繁琐,我们已经在2.1版本暂时关闭了RCNN模型python部署的trt加速功能。如果有RCNN模型使用trt加速的需求,可参考Paddle Inference相关文档改写PaddleX的Python部署代码。
当加载的模型为PPYolov2时,则不会报错,但是加载时间会长达2-3分钟,然后便能正常运行预测,是否正常?
正常的,如果使用trt加速,加载模型时会进行子图融和优化。
@will-jl944 您好,目前我使用的是fasterRCNN的c++部署方式,我遇到的情况也是一样的问题,不知道是否关闭了c++的trt加速功能?也需要改写paddlex的部署代码吗?或者有什么教程可以介绍一下如何设置dynamic shape