paddleocr_VL漏识别问题
🐛 Bug (问题描述)
1、部署方案:docker部署 paddlex genai_server --model_name PaddleOCR-VL-0.9B --backend vllm --port 8080 2 、推理方式 推理方式1:通过OPENAI方式请求 self.client = OpenAI(api_key='xx', base_url="http://192.168.2.115:8080/v1",) messages = [{ "role": "user", "content": [ { "type": "text", "text": self.prompt or f"请识别文档中的文字" }, { "type": "image_url", "image_url": { "url": f"data:image/jpeg;base64,{img_str}" } } ] } ]
resp = self.client.chat.completions.create( model=model_name="PaddleOCR-VL-0.9B",messages=messages)
推理方式2:通过paddlecor方式推理
from paddleocr import PaddleOCRVL
pipeline = PaddleOCRVL(layout_detection_model_dir='./PP-DocLayoutV2',vl_rec_backend="vllm-server",
vl_rec_server_url="http://192.168.2.115:8080/v1")
res = pipeline.predict("./test/tsimg.png")
3、结果
识别图片中文字,推理方式2识别没问题,推理方式1会出现大量漏识别的内容,是因为paddlex genai_server --model_name PaddleOCR-VL-0.9B --backend vllm --port 8080不会部署PP-DocLayoutV2吗,有没有可以同时部署PaddleOCR-VL-0.9B和PP-DocLayoutV2,并且backend为vllm的方式
识别图片中文字,推理方式2识别没问题,推理方式1会出现大量漏识别的内容,是因为paddlex genai_server --model_name PaddleOCR-VL-0.9B --backend vllm --port 8080不会部署PP-DocLayoutV2吗
是的。
有没有可以同时部署PaddleOCR-VL-0.9B和PP-DocLayoutV2,并且backend为vllm的方式
可以参考 服务化部署 使用 docker compose 进行服务化部署,这样外部只需要调用服务即可。