MST-plus-plus-TensorRT icon indicating copy to clipboard operation
MST-plus-plus-TensorRT copied to clipboard

Published 20 hours ago • verified publisher icon TRT2022

TensorRT-API构建方式是否支持对pytorch_quatization量化训练导出Q/DQ-onnx转换int8 engine？

Open songkq opened this issue 2 years ago • 0 comments

@DataXujing Hi，请问是否尝试过使用TensorRT-API方式从量化训练导出的Q/DQ-onnx模型构建trt_int8 engine？ 我尝试直接使用trtexec对Q/DQ-onnx进行转换，nsight分析发现推理过程transpose+reshape耗时占用高，想结合api的方式优化这部分性能，可否给一些建议？多谢～

songkq avatar Jan 30 '23 03:01 songkq