ncnn icon indicating copy to clipboard operation
ncnn copied to clipboard

ncnn2table的几个算法问题

Open shijie-nv opened this issue 3 years ago • 0 comments

  1. KL 和 ACIQ 里,会对int8 winograd F43 计算卷积的权重使用6bits精度,但是这个在文档中没有提到。如果使用其它PTQ,QAT工具取代ncnn2table计算scale,那都是8bits精度的,是不是就会出问题(溢出之类的)。
  2. EQ方法为什么没有6bits相关的处理,全是8bits是不是和前面两个算法矛盾了。
  3. int8 winograd F43或者其它量化的op,对于整数计算溢出是怎么处理的,算法保证不溢出,饱和运算

shijie-nv avatar Jul 13 '22 16:07 shijie-nv