Desmond-97

Some questions about quantization

9

您好，我在量化RepVGG到INT8时遇到一些问题： 完全按照您在README中提到的量化流程，先插入BN后QAT量化，掉点非常严重。以大模型（b3g4）为例，在ImageNet分类任务上量化后仅有20左右的accuracy。 但假如将https://github.com/DingXiaoH/RepVGG/blob/ce669bad170bf5d7c2a9eb060e90f39e7e109130/quantization/repvgg_quantized.py#L50代码修改为：` torch.quantization.fuse_modules(m, ['conv'], inplace=True)` 可以直接运行QAT量化，则掉点只有2.7%，调参后掉点大约1.7%。（参数为epochs=20 batch_size:与训练时bs保持一致 lr=1e-3 weight_decay=55e-6） 但对于分类任务而言量化后掉点也有点多，不知道这样做是否正确？请问您有其他量化方法的见解吗？