dzy

可以试试。但一般是bn融合量化。

参考，使用_迁移

梯度目前没有量化

这两种顺序结果是一样的。

后续会加入。

bn融合了吗？融合了的话是会比较抖。学习率给小点。 先训个浮点，加载它，再做qat吧。

参照 quantization/WqAq/dorefa/models/util_wqaq.py中的 Linear_Q

后续会加入

1、通道剪枝后的模型好部署，非结构化剪枝、稀疏后的模型想部署加速需要专门适配，不好部署，且这个模型的体积一般是没变的。这里做的是通道剪枝。 2、1中说了，做稀疏的话一般这个模型体积是不变的，里面的0都是正常存着的。这里的压缩率目前是手动算的，BN参数这里做了融合，所以不需要计算，只算卷积参数就行。量化模型的大小是（模型参数量 * 每个参数bits / 8）Bytes，再用这个和之前的未量化模型比较得出压缩率。

这里量化训练是模拟验证量化过程，最终保存的还是浮点参数，但这个浮点参数其实已经是量化的了，接下来拿这个参数再坐下量化表示就可以部署了,可以参照bn_folding/bn_folding.py和bn_folding/bn_folding_model_test.py。(当然在量化训练中最后也可以保存成量化表示的参数，这里没有这么做，这些以及其他一些后处理都在bn_folding.py中完成)