RepVGG_TensorRT_int8 icon indicating copy to clipboard operation
RepVGG_TensorRT_int8 copied to clipboard

onnx量化为int8模型,不转为TensorRT模型

Open dollarser opened this issue 4 years ago • 2 comments

由于项目需要onnx模型,不支持trt模型。 请问仓库中的方法,能不能直接量化onnx为int8模型,或者将int8的trt模型转回onnx。 谢谢!

dollarser avatar Mar 03 '21 11:03 dollarser

不可以

Wulingtian avatar Mar 04 '21 03:03 Wulingtian

@dollarser 直接将onnx-fp32转化为onnx-int8即可(ORT推理,官方有demo),和onnx-fp32转trt-int8类似的。

www516717402 avatar Mar 10 '22 03:03 www516717402