PaddleOCR推理耗时很久

[xdg2016]

• 系统环境/System Environment：win10 x64
• 版本号/Version：Paddle：paddlepaddle-gpu 2.2.1.post112 PaddleOCR：release/2.5
• 运行指令/Command Code：.\build3\Release\ppocr.exe system --use_gpu=false --rec_batch_num=16 --det_model_dir=E:\workspace\AI\Detection\PaddleOCR\weights\ch_PP-OCRv2_det_slim_quant_infer --rec_model_dir=E:\workspace\AI\Detection\PaddleOCR\weights\ch_PP-OCRv2_rec_slim_quant_infer --image_dir=F:\Datasets\securety\save\net
  测试了同一张图片，对比c++和python的推理耗时，如下图所示，耗时巨大，请问这种耗时正常吗？ 附原图：

[littletomatodonkey]

你好，一般第一张图都会非常耗时，程序需要warmup，可以预测多张图片，看下后面的图片的预测耗时

[xdg2016]

@littletomatodonkey 你好，我这边测了3张图，后续耗时都是这样，而且cpu上c++版本推理比python慢特别多，可不可以以帮忙测一下，是只有我这边会这样吗？这种耗时正常还是不正常的，谢谢 附上另外2张图：

[BeyondYourself]

可以看看检测和识别分别耗时

[xdg2016]

@BeyondYourself python版cpu，检测耗时约120ms左右，剩下的都是识别耗时了，但是这个耗时也很多，一张图cpu识别要好几秒，完全发挥不出超轻量级的优势呀

[BeyondYourself]

只能说版面的文字不是一般的多

[xdg2016]

@BeyondYourself 那这三张图的情况，这种耗时算是正常吗，尤其c++版的那个，请教一下，为啥会比python慢那么多

[dengmingD]

我试了一下倒数第1张图，c++预测cpu为1.92秒(v2版本)，如果用openvino(v3版本)则为0.75秒，ptyon比c++的慢，供参考 注：没用cls，时长为det+rec

[hiroi-sora]

简单测了一下 PPOCR C++ cpu_avx_mkl 版本

系统：win10

硬件：r5 4600u，TDP只有15w的低压u

参数：启用enable_mkldnn，未启用cls，其它默认

已忽略初始化和热身耗时

图片编号	1	2	3	对照1	对照2
文字块个数	140			2	10
字数	780			30	150
识别耗时：秒
PPocr2.6 + 识别库v2	2.6161	2.9913	2.2933	0.2479	0.5969
PPocr2.6 + 识别库v3	2.7711	3.1378	2.4338	0.2538	0.5776
PPocr2.1 + 识别库v2	3.6454	5.0814	3.5014	0.4148	1.0518

v3耗时比v2略高是正常的，v3的识别率更高。而且PPocr 2.6 似乎优化比 2.1 旧版本好得多。

楼主三张例图的文字块太多了。我最常遇到的需求还是类似上面对照1和对照2的图，耗时还是非常满足的。

Python版比C++版慢很多，以前测试过似乎慢1~5倍。