dzy

对于tensorrt，由于某些原因这里目前仅提供部分参考代码，完成的工作与学习资料可参考 相关资料-部署-tensorrt。 后续考虑加入可完整运行demo。

感兴趣可以参考着试试自己加一下，提pr。

1、是iao做PTQ效果好一些，所以只在iao里实现了PTQ； 2、都可以，但PTQ的话剪枝比例得给小一点，不然可能精度不够； 3、只是精度问题，可以直接设置bit；但保证精度的前提下，PTQ想做到4-bit以下，很难。

最后一层输出卷积层不prune，前面的C-B(卷积-BN)结构可以进行prune

后续会补充参考论文和工程； （针对INT8量化Nvidia和Google的方法很不错，这个后续参考链接也会给出并尝试代码实现加入到这个库中）

参考论文及代码均已补充

是的。梯度量化理论上可以加速，但这里就算做了也还是浮点在反传，不会加速，就没做。 这个梯度量化原文本意是，为在终端训练提供可能。

量化是op级的，可以试试，有问题可以发出来。

1、稀疏训练很关键，微调若剪枝率较小则可以不做，但最好做一下，对恢复精度帮助较大； 2、epoch，稀疏训练可以比微调多一些，比如分别为300和100。

nice~ fixed, https://github.com/666DZY666/micronet/commit/27fafff83ced2e1c955fc62d514606a045e68b09 测试了下，这样快一些。