PaddleOCR
PaddleOCR copied to clipboard
量化训练模型预测速度没有提升
- 系统环境/System Environment:预测:PaddleLite,ARM处理器
- 版本号/Version:Paddle: PaddleOCR:release/2.6 paddlepaddle-gpu:2.3.2.post116 paddleslim:2.3.4 Paddle-Lite:9月30日develop代码815ef89a8ca43802d2fbf1ba53fed481d3ddc290编译
- 运行指令/Command Code:
1.使用deploy/slim/quantization/quant.py对ch_PP-OCRv2_rec_distillation.yml模型进行量化训练;
2.得到的模型使用PaddleLite框架ARM处理器上进行预测,以下转换命令得到的模型都进行过验证测试:
paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm_quant8 --valid_targets=arm --quant_model=true --quant_type=QUANT_INT8
paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm_quant16 --valid_targets=arm --quant_model=true --quant_type=QUANT_INT16
paddle_lite_opt --model_dir=Student --optimize_out_type=naive_buffer --optimize_out=Student_arm --valid_targets=arm
3.使用PaddleLite Python接口进行预测; - 结果: 模型的大小降低了60%,但是预测的速度没有变化