PaddleOCR icon indicating copy to clipboard operation
PaddleOCR copied to clipboard

请问PaddleOCRVL的显存要求是多少呢?我使用A100和默认参数的PaddleOCRVL解析一页的PDF消耗了40G的显存,这合理吗?

Open CharlesDeng0814 opened this issue 2 months ago • 8 comments

🔎 Search before asking

  • [x] I have searched the PaddleOCR Docs and found no similar bug report.
  • [x] I have searched the PaddleOCR Issues and found no similar bug report.
  • [x] I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

请问PaddleOCRVL的显存要求是多少呢?我使用A100分析一页的PDF消耗了40G的显存,这合理吗?

🏃‍♂️ Environment (运行环境)

A100 80G

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

dd

CharlesDeng0814 avatar Oct 22 '25 10:10 CharlesDeng0814

同样问题,我用A100推理1个900多k的表格图片,也是GPU占用过高,40G用了33G,剩余7G出现out of memory,无法推理

fhkankan avatar Oct 22 '25 11:10 fhkankan

未使用Vllm时,如何调整以减低内存占用?

fhkankan avatar Oct 23 '25 00:10 fhkankan

用了什么推理引擎呢?vllm一般默认会申请90%以上的显存的。另外可以问下你的主要包的版本吗?我之前用paddlevl版本不兼容

uilstong avatar Oct 23 '25 02:10 uilstong

用了什么推理引擎呢?vllm一般默认会申请90%以上的显存的。另外可以问下你的主要包的版本吗?我之前用paddlevl版本不兼容

我是直接使用的paddleOCR-VL推荐的python脚本集成方法,不确定是什么推理引擎。大致代码如下:from pathlib import Path from paddleocr import PaddleOCRVL

input_file = "./your_pdf_file.pdf" output_path = Path("./output")

pipeline = PaddleOCRVL() output = pipeline.predict(input=input_file)

包的版本如下:# Name Version Build Channel _libgcc_mutex 0.1 conda_forge conda-forge _openmp_mutex 4.5 2_gnu conda-forge aistudio-sdk 0.3.8 pypi_0 pypi annotated-types 0.7.0 pypi_0 pypi anyio 4.10.0 pypi_0 pypi bce-python-sdk 0.9.46 pypi_0 pypi bzip2 1.0.8 hda65f42_8 conda-forge ca-certificates 2025.10.5 hbd8a1cb_0 conda-forge cachetools 6.2.1 pypi_0 pypi certifi 2025.8.3 pypi_0 pypi chardet 5.2.0 pypi_0 pypi charset-normalizer 3.4.4 pypi_0 pypi click 8.3.0 pypi_0 pypi colorlog 6.10.1 pypi_0 pypi cssselect 1.3.0 pypi_0 pypi cssutils 2.11.1 pypi_0 pypi distro 1.9.0 pypi_0 pypi einops 0.8.1 pypi_0 pypi et-xmlfile 2.0.0 pypi_0 pypi exceptiongroup 1.3.0 pypi_0 pypi filelock 3.20.0 pypi_0 pypi fsspec 2025.9.0 pypi_0 pypi ftfy 6.3.1 pypi_0 pypi future 1.0.0 pypi_0 pypi h11 0.16.0 pypi_0 pypi hf-xet 1.1.10 pypi_0 pypi httpcore 1.0.9 pypi_0 pypi httpx 0.28.1 pypi_0 pypi huggingface-hub 0.35.3 pypi_0 pypi idna 3.10 pypi_0 pypi imagesize 1.4.1 pypi_0 pypi jinja2 3.1.6 pypi_0 pypi jiter 0.11.1 pypi_0 pypi joblib 1.5.2 pypi_0 pypi ld_impl_linux-64 2.44 ha97dd6f_2 conda-forge libexpat 2.7.1 hecca717_0 conda-forge libffi 3.5.2 h9ec8514_0 conda-forge libgcc 15.2.0 h767d61c_7 conda-forge libgcc-ng 15.2.0 h69a702a_7 conda-forge libgomp 15.2.0 h767d61c_7 conda-forge liblzma 5.8.1 hb9d3cd8_2 conda-forge libnsl 2.0.1 hb9d3cd8_1 conda-forge libsqlite 3.50.4 h0c1763c_0 conda-forge libuuid 2.41.2 he9a06e4_0 conda-forge libxcrypt 4.4.36 hd590300_1 conda-forge libzlib 1.3.1 hb9d3cd8_2 conda-forge lxml 6.0.2 pypi_0 pypi markupsafe 3.0.3 pypi_0 pypi modelscope 1.31.0 pypi_0 pypi more-itertools 10.8.0 pypi_0 pypi ncurses 6.5 h2d0b736_3 conda-forge networkx 3.4.2 pypi_0 pypi numpy 2.2.6 pypi_0 pypi nvidia-cublas-cu11 11.11.3.6 pypi_0 pypi nvidia-cuda-cupti-cu11 11.8.87 pypi_0 pypi nvidia-cuda-nvrtc-cu11 11.8.89 pypi_0 pypi nvidia-cuda-runtime-cu11 11.8.89 pypi_0 pypi nvidia-cudnn-cu11 8.9.6.50 pypi_0 pypi nvidia-cufft-cu11 10.9.0.58 pypi_0 pypi nvidia-curand-cu11 10.3.0.86 pypi_0 pypi nvidia-cusolver-cu11 11.4.1.48 pypi_0 pypi nvidia-cusparse-cu11 11.7.5.86 pypi_0 pypi nvidia-nccl-cu11 2.19.3 pypi_0 pypi nvidia-nvtx-cu11 11.8.86 pypi_0 pypi openai 2.6.0 pypi_0 pypi opencv-contrib-python 4.10.0.84 pypi_0 pypi openpyxl 3.1.5 pypi_0 pypi openssl 3.5.4 h26f9b46_0 conda-forge opt-einsum 3.3.0 pypi_0 pypi packaging 25.0 pypi_0 pypi paddleocr 3.3.0 pypi_0 pypi paddlepaddle-gpu 3.2.0 pypi_0 pypi paddlex 3.3.4 pypi_0 pypi pandas 2.3.3 pypi_0 pypi pillow 11.3.0 pypi_0 pypi pip 25.2 pyh8b19718_0 conda-forge premailer 3.10.0 pypi_0 pypi prettytable 3.16.0 pypi_0 pypi protobuf 6.32.0 pypi_0 pypi psutil 7.1.1 pypi_0 pypi py-cpuinfo 9.0.0 pypi_0 pypi pyclipper 1.3.0.post6 pypi_0 pypi pycryptodome 3.23.0 pypi_0 pypi pydantic 2.12.3 pypi_0 pypi pydantic-core 2.41.4 pypi_0 pypi pypdfium2 4.30.0 pypi_0 pypi python 3.10.19 hd994cfb_1_cpython conda-forge python-bidi 0.6.6 pypi_0 pypi python-dateutil 2.9.0.post0 pypi_0 pypi pytz 2025.2 pypi_0 pypi pyyaml 6.0.2 pypi_0 pypi readline 8.2 h8c095d6_2 conda-forge regex 2025.10.23 pypi_0 pypi requests 2.32.5 pypi_0 pypi ruamel-yaml 0.18.15 pypi_0 pypi ruamel-yaml-clib 0.2.14 pypi_0 pypi safetensors 0.6.2.dev0 pypi_0 pypi scikit-learn 1.7.2 pypi_0 pypi scipy 1.15.3 pypi_0 pypi sentencepiece 0.2.1 pypi_0 pypi setuptools 80.9.0 pyhff2d567_0 conda-forge shapely 2.1.2 pypi_0 pypi six 1.17.0 pypi_0 pypi sniffio 1.3.1 pypi_0 pypi threadpoolctl 3.6.0 pypi_0 pypi tiktoken 0.12.0 pypi_0 pypi tk 8.6.13 noxft_hd72426e_102 conda-forge tokenizers 0.22.1 pypi_0 pypi tqdm 4.67.1 pypi_0 pypi typing-extensions 4.15.0 pypi_0 pypi typing-inspection 0.4.2 pypi_0 pypi tzdata 2025.2 pypi_0 pypi ujson 5.11.0 pypi_0 pypi urllib3 2.5.0 pypi_0 pypi wcwidth 0.2.14 pypi_0 pypi wheel 0.45.1 pyhd8ed1ab_1 conda-forge

CharlesDeng0814 avatar Oct 23 '25 10:10 CharlesDeng0814

兄弟,你这个是本地用的cuda11.8么,我本地用的12.4,然后我创建了conda环境并部署安装了11.8的依赖,但是我在编写处理脚本的时候然后就出问题然我用就识别为12.4(修改临时变量识别新的还是运行不了)。而且这个paddlepaddle-gpu 3.2.0 我没有找到那种能兼容pytotch的版本

xiaomaimainp avatar Oct 24 '25 08:10 xiaomaimainp

本质上还是个多模态模型,图片大了就显存占用大。想降低显存只能预处理一下。(推理有个max_pixels参数,但是不生效)

gluttony-10 avatar Oct 24 '25 19:10 gluttony-10

因为你也属于循环处理图片,他的显存会一直涨。。。。。。。

wangxinzhe0617 avatar Oct 27 '25 03:10 wangxinzhe0617

该问题我们已经确认存在,目前在排查解决中。 相关问题:https://github.com/PaddlePaddle/PaddleOCR/issues/16852

TingquanGao avatar Nov 03 '25 07:11 TingquanGao