基于官方提供的ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-offline 使用vllm 部署，图片解析与内容无关

[xiaochonzi]

🔎 Search before asking

• [x] I have searched the PaddleOCR Docs and found no similar bug report.
• [x] I have searched the PaddleOCR Issues and found no similar bug report.
• [x] I have searched the PaddleOCR Discussions and found no similar bug report.

🐛 Bug (问题描述)

测试图片： https://cdn.bigmodel.cn/static/logo/register.png

🏃‍♂️ Environment (运行环境)

OS: Ubuntu 22.04.3 LTS (GNU/Linux 6.2.0-37-generic x86_64)
CUDA:  CUDA Version: 13.0  
显卡： rtx4090 24g

🌰 Minimal Reproducible Example (最小可复现问题的Demo)

使用

docker run \
    -it \
    -d \
    --gpus all \
    --network host \
    ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-offline \
    paddleocr genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 8118 --backend vllm

进行启动

[Bobholamovic]

建议参考文档中的方式获取Markdown，这个模型本身不适合用于直接输出markdown

[lpdswing]

建议参考文档中的方式获取Markdown，这个模型本身不适合用于直接输出markdown https://ai.baidu.com/ai-doc/AISTUDIO/2mh4okm66 这里的调用方式和用paddle predict有区别吗，毕竟调用方还必须装一堆包太重了

[Bobholamovic]

建议参考文档中的方式获取Markdown，这个模型本身不适合用于直接输出markdown https://ai.baidu.com/ai-doc/AISTUDIO/2mh4okm66 这里的调用方式和用paddle predict有区别吗，毕竟调用方还必须装一堆包太重了

如果希望做服务化部署的话，可以参考文档中的服务化部署一节，调用方只需要具备基础的HTTP请求能力就可以。