PaddleX icon indicating copy to clipboard operation
PaddleX copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

PaddleX的seg模型在GPU上推理速度很慢

Open sfs-zxd opened this issue 1 year ago • 1 comments

环境PaddleX-release2.1版本+cuda11.7+TensorRT8.4， 在使用TensorRT时创建config进行初始化会报错，所以未使用TensorRT加速推理；在官方multi-gup-model的工程中ppinference_engine.cpp文件的 std::shared_ptr<paddle_infer::Predictor> predictor_; predictor_->run();运行时间1秒多 输出时调用CopyToCpu耗时7s多 1696899811302

sfs-zxd avatar Oct 10 '23 01:10 sfs-zxd

可以尝试使用PaddleX 新版本的分割模型和部署，https://aistudio.baidu.com/intro/paddlex

dyning avatar Jan 18 '24 10:01 dyning