目前最新版本支持TensorRT加速部署吗?
问题如上,遇到项目对预测速度有要求,需要用到tensorrt加速部署,x86平台,rtx3080ti
你好,可以使用基于FastDeploy的部署方案,该方案支持使用TensorRT在x86平台加速推理~
@Bobholamovic 我看了你给我链接里的说明,需要先去网页版生成一个模型及部署文件,那我如果直接按照FastDeploy模块在github上的文档去操作的话能行吗?
@Bobholamovic 我看了你给我链接里的说明,需要先去网页版生成一个模型及部署文件,那我如果直接按照FastDeploy模块在github上的文档去操作的话能行吗?
PaddleX提供的FastDeploy(FD)和开源版本的FD不太一样,如果要使用PaddleX提供的FD进行部署的话,需要参考PaddleX文档哈
也就是说,目前来源版本的FD暂时还不支持paddlex是吧
---- 回复的原邮件 ---- | 发件人 | Lin @.> | | 日期 | 2024年08月16日 12:57 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [PaddlePaddle/PaddleX] 目前最新版本支持TensorRT加速部署吗? (Issue #1915) |
@Bobholamovic 我看了你给我链接里的说明,需要先去网页版生成一个模型及部署文件,那我如果直接按照FastDeploy模块在github上的文档去操作的话能行吗?
PaddleX提供的FastDeploy(FD)和开源版本的FD不太一样,如果要使用PaddleX提供的FD进行部署的话,需要参考PaddleX文档哈
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
是的
@CashBai 感谢关注,未来PaddleX所有的模型都会通过PaddleX提供的FastDeploy(FD)提供高性能多硬件的部署方案,这部分能力正在升级建设中
The issue has no response for a long time and will be closed. You can reopen or new another issue if are still confused.
From Bot