ncnn icon indicating copy to clipboard operation
ncnn copied to clipboard

关于int8量化

Open liamsun2019 opened this issue 3 years ago • 1 comments

使用ncnn2table的时候,指定mean/norm参数,以及shape参数,有两个问题想确认一下:

  1. mean和norm,在实际推理的时候,是否还需要使用?比如RGB的uint8输入,是否可以直接作为输入喂给量化后的模型,推理的时候不用再考虑mean和norm了?
  2. shape参数的指定,HWC和CHW是否都可以?

liamsun2019 avatar Jun 21 '22 00:06 liamsun2019

  1. 可以。并不是强制的,只是命令行帮你做个预处理。俺都是直接魔改源码、喂 .bin 进去;
  2. 内部的 layout 是 nchw, 命令行习惯应该是 whc。强制的不能瞎写。

tpoisonooo avatar Jun 21 '22 07:06 tpoisonooo

  1. 可以。并不是强制的,只是命令行帮你做个预处理。俺都是直接魔改源码、喂 .bin 进去;
  2. 内部的 layout 是 nchw, 命令行习惯应该是 whc。强制的不能瞎写。

但我这样运行ncnn2table /home/lkw/programfiles/hesikeji/tecent/ncnn/build/tools/quantize/ncnn2table 2.7_80x80_MiniFASNetV2-sim-opt.param 2.7_80x80_MiniFASNetV2-sim-opt.bin 8080image.txt 2.7_80x80_MiniFASNetV2.table mean=[] norm=[] shape=[80,80,3] pixel=BGR thread=8 method=kl 会报错:expect 1 means, but got 0 请问应该怎么解决这个问题呢?我推理的时候没有使用归一化

1Yanxiaolin1 avatar May 17 '23 02:05 1Yanxiaolin1

但我这样运行ncnn2table /home/lkw/programfiles/hesikeji/tecent/ncnn/build/tools/quantize/ncnn2table 2.7_80x80_MiniFASNetV2-sim-opt.param 2.7_80x80_MiniFASNetV2-sim-opt.bin 8080image.txt 2.7_80x80_MiniFASNetV2.table mean=[] norm=[] shape=[80,80,3] pixel=BGR thread=8 method=kl 会报错:expect 1 means, but got 0 请问应该怎么解决这个问题呢?我推理的时候没有使用归一化

归一化是(x - mean) * norm mean 0 norm 1就行了

MIaomiao426 avatar Jul 26 '23 09:07 MIaomiao426