推理加速

[albin3]

Is your feature request related to a problem? Please describe. 您的特性请求是否与某个问题相关？请描述。 A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

推理过程中，目前是先对pdf进行预处理再放入显存中；

是否可以开多进程，部分pdf负责处理。

Describe the solution you'd like 描述您期望的解决方案 A clear and concise description of what you want to happen.

有没有可能把pdf预处理和gpu的工作分解开，让cpu和gpu同时工作以提高解析效率？