PaddleOCR icon indicating copy to clipboard operation
PaddleOCR copied to clipboard

PaddleOCR C++多线程推理

Open yjszyd0813 opened this issue 1 year ago • 2 comments

请提供下述完整信息以便快速定位问题/Please provide the following information to quickly locate the problem

  • 系统环境/System Environment:CPU 12th Gen Intel(R) Core(TM) i7-12700H GPU Nvidia 3060 6G
  • 版本号/Version:Paddle:2.4.2 PaddleOCR:2.6.2 问题相关组件/Related components:PaddleOCR C++部署
  • 运行指令/Command Code:
  • 完整报错/Complete Error Message: 使用GPU 多线程推理模型时, paddle_inference.dll 提示错误。

我们提供了AceIssueSolver来帮助你解答问题,你是否想要它来解答(请填写yes/no)?/We provide AceIssueSolver to solve issues, do you want it? (Please write yes/no): yes

问题:使用PaddleOCR C++部署,通过多次初始化PPOCR生成多个模型,可以直接用多线程推理多个模型吗? 我目前测试,使用一个模型推理,是正常可以的。初始化多个PPOCR对象,生成的多个模型,进行多线程推理,只有一个线程是可以用的。其他线程,都是无法正常推理的。怎么样修改PaddleOCR C++的源码,可以快速用于多线程推理。还是只能用Paddle_inference中的提到的Clone(),复制多份模型,重写推理函数Run()。

yjszyd0813 avatar Oct 28 '23 04:10 yjszyd0813