JSnobody
JSnobody
了解,在做量化之前,先做出一个基于float32的稳定的版本是更重要的,如果后面做量化的话,是否可以交流一下呢?我目前也在看量化方面。
@BUG1989 如果我没记错的话,caffe-int8-convert-tools 是你做的吧,这几天刚认识caffe-int8-convert-tools,准备仔细研究一下
@BUG1989 我看主流的框架和平台的int8量化,只针对训练后量化,主要分为tensorflow和tensorRT两个流派,有的是用tensorflow'的思想和流程,有的采用tensorRT思想结合KL散度校准,从结果上看,tensorRT的准确率会有提升。关于tensorRT和tensorflow量化你怎么看,推理框架也需要反量化嘛?
修改一下:tensorRT较比tensorflow准确率会有提升。
@BUG1989 Ristretto caffe我前几天看到过,当时看的不仔细,通过你的介绍我学习了。 听你的描述,我还是有很多疑惑,不过,我先自己看看Ristretto caffe再讨论吧。 能否加个联系方式呢?
@BUG1989 这三个流派,你觉得哪个比较好,各自优缺点是什么?
@huangrichen11 有好多种方式
我还没有试,你如何操作的?
@aloyschen Hi, yes, I know that load network and weights will cost a lot of time. I just try to test the predicting time. And I tested the time of...
@aloyschen hello, thanks for your reply!