Lin Manhui
Lin Manhui
我在刚才使用最新的Docker镜像+Docker Compose启动服务，未能复现VLM服务连接异常的错误。请大家尝试如下方式更新镜像： ```shell # 以SM120以下GPU镜像为例，其他环境可根据需要修改tag suffix docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server:latest-offline docker pull docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-offline ``` 参考文档，下载最新的compose文件以及.env文件：https://www.paddleocr.ai/latest/version3.x/pipeline_usage/PaddleOCR-VL.html#41-docker-compose 。
请问你是不是做了服务化部署呀？
这样的话你遇到很可能是这个issue里描述的问题： https://github.com/PaddlePaddle/PaddleOCR/issues/15621 在issue里我给出了两种现阶段的解决方案～
> 之前PaddleOCR 2,7的时候，我都是这样部署Flask测试的，cpu运行也都是没问题的 这个问题只在使用mkldnn的时候出现，paddleocr 2.7默认是不开启mkldnn的，当前的版本如果设置`enable_mkldnn=False`也可以绕过这个问题，但推理性能可能会下降。
> 请问如何设置enable_mkldnn=False，我试试 在创建产线对象的时候设置
PaddleOCR currently assumes that the `device` provided by the user is available, and it will attempt to use that `device` to build the underlying `paddle.inference.Predictor`. When an incorrect `device` is...
@TingquanGao PTAL
Since this feature is not supported by PaddleX, it is diffucult to implement it in PaddleOCR. I recommend opening a feature request in the PaddleX repo.
修改了默认的compose file吗
compose file默认已经使用vLLM作为后端了。方便贴一下修改后的compose file内容吗？