maximli

> 是用onnxruntime进行推理吗 是的，使用onnxruntime推理

> 请问你的模型导出命令是？还有onnxruntime的版本是？ 量化过程： 1、使用paddleslim量化paddle模型 2、使用paddle2onnx导出第一步中量化后的模型（这里onnx模型大小没有变化并稍有增长，推理速度变慢，发过issue，并且有过回复。paddle模型有减小。） 3、按照这里提到的量化方式进行onnx量化（这里onnx模型有减小，推理速度变得更慢） https://aistudio.baidu.com/aistudio/projectdetail/3924447 各个版本： paddle 1.0.2 paddlepaddle-gpu 2.3.0 paddleslim 2.3.0 paddle2onnx 1.0.0rc3 onnxruntime 1.10.0

上边的问题已经解决了，使用paddle2onnx时报错，有算子不支持： There's 2 ops are not supported yet =========== dequantize_linear =========== =========== quantize_linear =========== 各个版本： onnx 1.12.0 paddle2onnx 0.9.8 paddlepaddle-gpu 2.3.0 paddleslim 2.3.0

> @maximli paddle2onnx升级至1.0.0.rc3版本再试下吧 感谢回复，升级paddle2onnx版本，这个问题解决了。新的问题是，转换后的onnx大小与非量化的onnx大小差不多，还要大了一点点，请问是什么原因呢？理论上量化后的onnx是不是会变得更小，目前看量化后的参数文件和模型文件比非量化的文件要小很多。

本地配置如下，模型时gpu下训练出来的。 onnx 1.10.1 onnxruntime 1.8.1 paddle 1.0.1 paddle2onnx 0.8 paddlepaddle 2.0.0

谢谢，重新安装onnx为1.9.0，有如下报错 onnx.onnx_cpp2py_export.checker.ValidationError: Your model ir_version is higher than the checker's.

哦，需要重新生成onnx文件。目前正常了，十分感谢！@jiangjiajun @yeliang2258