pytorch_quantization icon indicating copy to clipboard operation
pytorch_quantization copied to clipboard

ResNet50 在ImageNet数据集

Open louvinci opened this issue 4 years ago • 4 comments

你好,我想问一下,ResNet18在位宽为4时top5精度已经下降了接近了2%了。那将数据位宽提高到6,或者8效果如何呢。谢谢!

louvinci avatar Dec 06 '20 09:12 louvinci

改一下bit配置测试一下就知道啦

Jzz24 avatar Dec 07 '20 14:12 Jzz24

�改一下bit配置测试一下就知道啦 感谢回复,我这就准备试一下。在Image net上量化的准确度,位宽为4或者其他位数时,BN层的参数是不是仍然是32位的啊。谢谢!

louvinci avatar Dec 08 '20 02:12 louvinci

�改一下bit配置测试一下就知道啦 感谢回复,我这就准备试一下。在Image net上量化的准确度,位宽为4或者其他位数时,BN层的参数是不是仍然是32位的啊。谢谢!

是的,这里对bn没做处理,仍然是fp32,可以参考一下google whitepaper文章bn的处理

Jzz24 avatar Dec 10 '20 03:12 Jzz24

�改一下bit配置测试一下就知道啦 感谢回复,我这就准备试一下。在Image net上量化的准确度,位宽为4或者其他位数时,BN层的参数是不是仍然是32位的啊。谢谢!

是的,这里对bn没做处理,仍然是fp32,可以参考一下google whitepaper文章bn的处理

好的。非常感谢分享。确实BN层的处理可以有很多手法,但是BN层使用浮点数或者INT32对计算量的影响并不大。

louvinci avatar Dec 10 '20 04:12 louvinci