PaddleDetection icon indicating copy to clipboard operation
PaddleDetection copied to clipboard

Published 20 hours ago • verified publisher icon PaddlePaddle

pphuman发布的模型有NonZero算子，但tensorrt不支持，而pphuman又说支持tensorrt加速推理，该如何操作？

Open danve-fan opened this issue 3 years ago • 4 comments

问题确认 Search before asking

  • [X] 我已经搜索过问题，但是没有找到解答。I have searched the question and found no related answer.

请提出你的问题 Please ask your question

pphuman发布的模型有NonZero算子，但tensorrt不支持，而pphuman又说支持tensorrt加速推理，该如何操作？ 1、我把pphuman发布的模型用paddle2onnx做了转换； 2、采用tensorrt对onnx模型进行读入，但提示不支持NonZero算子；

请问该怎么操作？

danve-fan avatar Aug 04 '22 03:08 danve-fan

nonzero算子具体是哪一个模型引入的呢？

wangxinxin08 avatar Aug 04 '22 08:08 wangxinxin08

nonzero算子具体是哪一个模型引入的呢？

pphuman发布的模型：mot_ppyoloe_l_36e_pipeline

danve-fan avatar Aug 04 '22 09:08 danve-fan

收到你的反馈，这个问题我们定位下，你可以试下PaddleInference调用TRT

wangxinxin08 avatar Aug 04 '22 10:08 wangxinxin08

nonzero算子确实无法使用TensorRT运行，这个你可以使用PaddleInference调用TRT，直接使用TRT进行预测可以参考https://github.com/ghostxsl/PaddleDetection/tree/ppyoloe_add_onnx_trt_demo/deploy/third_engine/demo_ppyoloe#2-pp-yoloe%E6%A8%A1%E5%9E%8Btrt-int8%E9%87%8F%E5%8C%96%E6%95%99%E7%A8%8B

wangxinxin08 avatar Aug 08 '22 08:08 wangxinxin08