ppq
ppq copied to clipboard
PPQ已经支持了不少后端推理框架(TensorRT,ncnn,mnn等),这些后端的量化规格细节都是怎么获取的呢?现在PPQ与后端量化推理可以完全对齐吗?
trt的话,最新的文档有详细描述量化细节,其他黑盒平台,ppq是按照谷歌白皮书标准进行concat/add量化模拟,我们只能力求对齐量化融合方式,置于算子的比特对齐,这个做不到