Shijie Chen

1. KL 和 ACIQ 里，会对int8 winograd F43 计算卷积的权重使用6bits精度，但是这个在文档中没有提到。如果使用其它PTQ，QAT工具取代ncnn2table计算scale，那都是8bits精度的，是不是就会出问题(溢出之类的)。 2. EQ方法为什么没有6bits相关的处理，全是8bits是不是和前面两个算法矛盾了。 3. int8 winograd F43或者其它量化的op，对于整数计算溢出是怎么处理的，算法保证不溢出，饱和运算

squeezenet_v1.1的模型和数据来自ncnn的github，测试图片cat.jpg来自 tengine example 转换 ncnn/examples 里的 squeezenet_v1.1.param convert_tool -f ncnn -p squeezenet_v1.1.param -m squeezenet_v1.1.bin -o squeezenet_v1.1.tmfile 测试结果完全不对 tm_classification -m squeezenet_v1.1_from_ncnn_new.tmfile -i images/cat.jpg -g 227,227 -w 104.0,117.0,123.0 -s 1.0,1.0,1.0 tengine-lite library...

量化模型要慢100倍，请问tengine在arm cpu runtime下有没有对于int8/uint8模型推理做优化

1

我在树莓Pi4下测试 mobilenet_v2 和 mobilenet_v2_u8 都是用cpu运行，量化模型要慢100倍。 但是换用ncnn的测试，量化模型比浮点模型还要快一点。 是不是有什么编译特殊编译选项，还是这部分是没有优化的。 直接用树莓Pi4编译 cmake .. 浮点模型 ./tm_classification -g 224,224 -s 0.017,0.017,0.017 -w 104.007,116.669,122.679 -r 8 -t 4 -i ~/projects/mytest/tengine-lite/bin/images/cat.jpg -m ~/projects/mytest/tengine-lite/bin/mobilenet_v2.tmfile tengine-lite library version: 1.5-dev...