compose方式部署,调用报错RuntimeError: Exception from the 'vlm' worker: Connection error
🔎 Search before asking
- [x] I have searched the PaddleOCR Docs and found no similar bug report.
- [x] I have searched the PaddleOCR Issues and found no similar bug report.
- [x] I have searched the PaddleOCR Discussions and found no similar bug report.
🐛 Bug (问题描述)
通过compose方式完成服务部署,但是调用就报错:RuntimeError: Exception from the 'vlm' worker: Connection error
🏃♂️ Environment (运行环境)
redhat,cuda12.4
🌰 Minimal Reproducible Example (最小可复现问题的Demo)
我也是这个一模一样的错误,弄了一晚上没解决,真是服了!!!!
@zhuxingjie322-dotcom @songhongrui 您好,我们已经修复该问题,执行以下指令更新最新镜像可以解决该问题:
docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-offline
即使更新了最新镜像,也还是出现一模一样的错误
@zhuxingjie322-dotcom @songhongrui 您好,我们已经修复该问题,执行以下指令更新最新镜像可以解决该问题:
docker pull ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl:latest-offline
@chenjianweiwaitt 我们确认下是否是最新镜像,请执行:
docker images
会有以下内容,贴一下看看:
REPOSITORY TAG IMAGE ID CREATED SIZE
ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl latest-offline 0843f08c7c70 9 hours ago 10.6GB
ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server latest-offline 4de41c8b4b6f 7 days ago 14.7GB
@chenjianweiwaitt 我们确认下是否是最新镜像,请执行:
docker images会有以下内容,贴一下看看:
REPOSITORY TAG IMAGE ID CREATED SIZE ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-vl latest-offline 0843f08c7c70 9 hours ago 10.6GB ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddleocr-genai-vllm-server latest-offline 4de41c8b4b6f 7 days ago 14.7GB
Mark
方便的话请贴一下 docker images 的完整结果,像我上面展示的那样包含 IMAGE ID,我们确认下 IMAGE ID 是否相同。
另外注意到您是macOS,如果在macOS使用docker compose进行服务化部署是不支持的哈(需要有GPU),文档里有具体介绍:
如果想离线部署,可以将镜像传到目标机器上进行部署。
另外注意到您是macOS,如果在macOS使用docker compose进行服务化部署是不支持的哈(需要有GPU),文档里有具体介绍:
如果想离线部署,可以将镜像传到目标机器上进行部署。
您好,paddleocr-vl 的IMAGE ID 是0843f08c7c70。我这边并不是在macOS本地进行的docker-compose部署,是先在本地电脑下载好镜像,然后再将镜像传到离线机器上部署的。
我们自测和其他用户测试是可以正常工作的,麻烦贴一下docker compose启动日志、服务调用日志和您调用服务的脚本吧?我们分析一下。
好了吗?怎么解决的,我刚下的,也报这个错。 头疼啊。
如果想离线部署,可以将镜像传到目标机器上进行部署。