githublsk

ppocrv4 检测模型转tensorrt性能下降严重（着急）

5

ppocrv4 检测模型转tensorrt性能下降严重，能否给出解决方案？多谢 - 系统环境/System Environment：ubuntu18.04 - 版本号/Version：Paddle：2.7 PaddleOCR： 问题相关组件/Related components：onnx - 运行指令/Command Code：onnx转tensorrt - 完整报错/Complete Error Message：

int4和bffloat16推理时间问题（着急）

2

用如下代码分别测试MiniCPM-2B-dpo-bf16和MiniCPM-dpo-Int4两个模型，推理时间MiniCPM-2B-dpo-bf16有3秒多，MiniCPM-dpo-Int4有10秒以上，请问原因是啥？