RepVGG_TensorRT_int8
RepVGG_TensorRT_int8 copied to clipboard
RepVGG TensorRT int8 量化,实测推理不到1ms一帧!
由于项目需要onnx模型,不支持trt模型。 请问仓库中的方法,能不能直接量化onnx为int8模型,或者将int8的trt模型转回onnx。 谢谢!
在使用conver_trt_quant.py文件的时候提示“segmentation fault (core dumped)”可能是什么原因呢?
How to generate repvgg_tensorrt_int8/trt_engine_lib/libMyTtrEngine-trt721.so ?
文件太大,我就放到百度盘了(链接: https://pan.baidu.com/s/1sF8vZ1JyBvk5Z_IUBP3CgA 密码: qlgk) 操作步骤如下: cd Generate_LibMyTtrEngine-trt721/src vim CMakeLists.txt 设置cuda目录(例如:/usr/local/cuda-11.0/include) make build cd build cmake .. make 在Generate_LibMyTtrEngine-trt721/bin目录下生成libMyTtrEngine-trt721.so动态库
===============getInfoFromCudaEngine================== mEngine->getMaxBatchSize() = 8 mEngine->getDeviceMemorySize = 840704 Input tensor [0] name is:input.1 Input [0] data type is: float input [0] nbDims = 4 input [ 0] shape = [1,3,224,224,] Output...