ppq
ppq copied to clipboard
量化策略如何选择?
大佬你好,这边模型要部署的平台在现有的TargetPlatform并没有,但是推理框架部分给出如下的限制,请问这边应该用哪种TargetPlatform设置会比较好?
模型量化注意事项说明:
-
- 为了避免额外Quant/Dequant节点的插入,部分算子需要保证输入、输出量化参数相同,以保证量化计算的等价性,如Reshape;Concat;Slice;ArgMax;AveragePool;Flatten etc.
-
- 为保证性能收益,进行卷积与Bias的融合,请将卷积后的Bias采用INT32量化,且量化参数为input/weight量化参数乘法计算得来
-
- ONNX框架下仅支持uint8-perLayer的量化方式(bias为int32量化),暂不支持权重perChannel的量化方式
-
- 混合量化填写说明(实验特性):由于量化Json文件按照Tensor维度进行说明,倘若模型中的某一层想要采用浮点的方式进行计算,则请勿填写该层输入Tensor的量化参数,输出Tensor量化参数是否填写,需要视下一层是否为量化层而定
貌似你可以自己写一个? https://github.com/openppl-public/ppq/blob/master/ppq/quantization/quantizer/MyQuantizer.py
貌似你可以自己写一个? https://github.com/openppl-public/ppq/blob/master/ppq/quantization/quantizer/MyQuantizer.py
非常感谢大佬回复,请问我这边要输入输出都进行量化,应该如何配置呢?还有,这边想实现tflite的量化方式,ppq有么有示例可以参考一下,非常感谢!