yolov5_tensorrt_int8 issues

int8_build engine失败

2

Completed parsing of ONNX file Building an engine from file /home/zhaomt/com/yolov5int8/yolov5/yolov5s.onnx; this may take a while... wrong [04/25/2024-17:36:20] [TRT] [E] 1: Unexpected exception _Map_base::at planing----- None Failed to build serialized...

zmtttt

qat模型导出为tensorrt后速度反而比原本的fp32模型慢

1

你好，我将qat模型按照export_onnx_qat.py代码转成onnx，然后再利用trtexec --onnx=qat.onnx --saveEngine=qat.engine --int8获得tensorrt模型，发现推理速度反而不如原始模型使用trtexec --onnx=init.onnx --saveEngine=init.engine --fp32速度，不知道是什么原因？

shupinghu

导出ptq量化导出onnx后onnx推理的结果和pt推理的结果差异很大

4

为了方便测试，我参考作者的代码写了一个分类网络的ptq代码，然后在转onnx的时候对输出结果进行了对比，发现差异很大，不知道您这边有没有遇到过这个问题复现步骤，使用cifar数据集，所以复现很快： 1. python fp32_train.py 2. python ptq.py（注意修改加载模型的路径） [aa.zip](https://github.com/Susan19900316/yolov5_tensorrt_int8/files/14918628/aa.zip)

shupinghu