PaddleOCR icon indicating copy to clipboard operation
PaddleOCR copied to clipboard

量化训练模型预测速度没有提升

Open hellobug-fei opened this issue 2 years ago • 0 comments

  • 系统环境/System Environment:预测:PaddleLite,ARM处理器
  • 版本号/Version:Paddle: PaddleOCR:release/2.6 paddlepaddle-gpu:2.3.2.post116 paddleslim:2.3.4 Paddle-Lite:9月30日develop代码815ef89a8ca43802d2fbf1ba53fed481d3ddc290编译
  • 运行指令/Command Code: 1.使用deploy/slim/quantization/quant.py对ch_PP-OCRv2_rec_distillation.yml模型进行量化训练; 2.得到的模型使用PaddleLite框架ARM处理器上进行预测,以下转换命令得到的模型都进行过验证测试: paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm_quant8 --valid_targets=arm --quant_model=true --quant_type=QUANT_INT8 paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm_quant16 --valid_targets=arm --quant_model=true --quant_type=QUANT_INT16 paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm --valid_targets=arm 3.使用PaddleLite Python接口进行预测;
  • 结果: 模型的大小降低了60%,但是预测的速度没有变化

hellobug-fei avatar Oct 17 '22 02:10 hellobug-fei