Stefan3Zz

docker run \ -it \ --rm \ --gpus "'device=0,1'" \ --network host \ -v /mnt/nvme2n1/lingshu:/data \ ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server \ paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 13515 --backend vllm --model_dir /data/PaddlePaddle/PaddleOCR-VL/PaddleOCR-VL-0.9B 请问我希望多卡部署，但是我run的时候指定了两个0，1两张卡，但是实际使用运行的时候，我发现只有0这张卡被用到了，是还缺少哪些参数吗

> > docker run -it --rm --gpus "'device=0,1'" --network host -v /mnt/nvme2n1/lingshu:/data ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 13515 --backend vllm --model_dir /data/PaddlePaddle/PaddleOCR-VL/PaddleOCR-VL-0.9B > > 请问我希望多卡部署，但是我run的时候指定了两个0，1两张卡，但是实际使用运行的时候，我发现只有0这张卡被用到了，是还缺少哪些参数吗 > > 默认配置是在单张GPU上运行的，如果需要多卡执行的话，可以使用vllm的tp并行或dp并行功能，在启动服务的时候通过`--backend_config`选项设置相应的参数。详情可参考vllm官方文档。...

> 可能是因为本地显卡的显存比较小 给KV cache预留的显存也得少一些 我一张卡是40g诶，所以默认的0.5会导致不够是吗

> 可能是因为本地显卡的显存比较小 给KV cache预留的显存也得少一些 我还想知道一个问题，如果我这个参数给到0.8让他占用显存高一点，会对解析速度有帮助吗

请问一下，我现在使用docker run \ -it \ -d \ --rm \ --gpus '"device=1,2"' \ --network host \ -v /mnt/nvme2n1/lingshu:/data \ ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server \ paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 13515 --backend vllm --model_dir...

我的理解这个模型不是一次性搞定的吗不应该走pipeline了吧

> 您好，PP-DocLayutV2是PaddleOCR-VL中负责文档的版面的检测和阅读顺序的部分，如果只是单纯的文字识别，可以直接用其中的VLM部分PaddleOCR-VL-0.9B模型，但是可能有更多的人做文档解析，所以增加了PP-DocLayutV2。另外，PP-DocLayoutV2的参数量很少，所以不会占用很多空间。 但是我PP-DocLayutV2 也下载下来了，但是我想问下，可以把PP-DocLayutV2 和PaddleOCR-VL-0.9B 包装成一个服务吗就像mineru2.5，我可以直接通过接口调用就能拿到所有版面信息以及内容信息 比如我通过docker run \ -it \ --rm \ --gpus all \ --network host \ ccr-2vdh3abv-pub.cnc.bj.baidubce.com/paddlepaddle/paddlex-genai-vllm-server \ paddlex_genai_server --model_name PaddleOCR-VL-0.9B --host 0.0.0.0 --port 8118 --backend vllm...

> 哪个模型呢，是特定的样本才会报错吗？这个问题可以稳定复现么。 是paddlex默认下载的模型，是稳定复现的，不是特定样本

> > > 哪个模型呢，是特定的样本才会报错吗？这个问题可以稳定复现么。 > > > > > > 是paddlex默认下载的模型，是稳定复现的，不是特定样本 > > 请问你的执行命令是？Paddle的安装命令是？ 是通过python代码执行的  

 请问有对应的12.2的版本吗