pyaaaa

vllm分布式推理报错

5

### System Info / 系統信息 2025-04-15 10:15:22,015 xinference.api.restful_api 48577 ERROR [address=10.8.9.17:34697, pid=141952] Traceback (most recent call last): File "/root/anaconda3/envs/xinference/lib/python3.10/site-packages/xinference/api/restful_api.py", line 1002, in launch_model model_uid = await (await self._get_supervisor_ref()).launch_builtin_model( File "/root/anaconda3/envs/xinference/lib/python3.10/site-packages/xoscar/backends/context.py",...

[Usage]: 大量请求排队的时候推理速度很慢是什么原因

4

### Your current environment  ### How would you like to use vllm 我使用了多并发对vllm启动的模型发起请求，但是观测上面数据的时候发现只要有请求在排队的情况下，推理速度很慢，并发也是一个两个的慢慢增加，我用的是8卡4090 （24G）启动的Qwen-Deepsee-32B的模型，这个跟硬件有关系嘛，我在四卡a100没有发现这种现象 ### Before submitting a new issue... - [x] Make sure you already searched for relevant...