YOLOv6 icon indicating copy to clipboard operation
YOLOv6 copied to clipboard

Problem about Partial Quantization

Open ZhangZhiPku opened this issue 2 years ago • 3 comments

当网络量化情况不好,并且推理框架允许的情况下,我们可以送一些算子回到fp32,这是量化部署的正确方法。 但是在最新的提交中,似乎代码中衡量量化敏感性的方法是直接在验证集上计算map,我想在目前的yolo6中,有将近100个层需要分析量化敏感性,这意味着整个验证过程需要持续近100次。我想这并不是一时半会能算完的。

一些更加高效的做法是,应当衡量的是网络中最后几个特征图的信号误差情况,而非网络最后的map;并且应当在calibration set上完成这一过程,不应当使用整个测试集。

ZhangZhiPku avatar Jul 14 '22 13:07 ZhangZhiPku

感谢您的建议,如果有可能,欢迎提供 PPQ 相关的代码,我们一起来共建此代码库。

mtjhl avatar Jul 19 '22 11:07 mtjhl

感谢您的回复,我们希望与您一起完善yolo6。 对于量化而言,目前的模型是很糟的,release的预训练权重难以完成量化部署,是否有使用repopt训练得到的权重文件?

ZhangZhiPku avatar Jul 27 '22 08:07 ZhangZhiPku

感谢您的回复,我们希望与您一起完善yolo6。 对于量化而言,目前的模型是很糟的,release的预训练权重难以完成量化部署,是否有使用repopt训练得到的权重文件?

https://github.com/xingyueye/YOLOv6/releases/download/0.1.0/yolov6s_opt.pt

xingyueye avatar Aug 19 '22 06:08 xingyueye