pyaaaa

[我也遇到了同样的问题，很多docx都报楼主的这个错，例如这个文件 [习近平在俄罗斯媒体发表署名文章.docx](https://github.com/user-attachments/files/20831578/default.docx)

export NCCL_SOCKET_IFNAME=mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 我设置了ib卡，但是nccl报错Traceback (most recent call last): File "/root/anaconda3/envs/xinference-vllm/lib/python3.10/site-packages/xinference/core/utils.py", line 93, in wrapped ret = await func(*args, **kwargs) File "/root/anaconda3/envs/xinference-vllm/lib/python3.10/site-packages/xinference/core/worker.py", line 979, in wait_for_load await model_ref.wait_for_load() File "/root/anaconda3/envs/xinference-vllm/lib/python3.10/site-packages/xoscar/backends/context.py", line 231,...

我用两台H100部署，请问有没有解决办法，或者部署指南，还需要设置一些什么东西嘛

从去年十二月份我在xinference默认参数启动vl模型就出现了这个问题，一旦并发很快就会卡住，而且每次输入只有一张图片，中间更新了xinference几个版本，依旧存在这个问题，不能并发，目前使用xinference的版本为1.5.1仍存在此问题，不知最近版本是否有优化此问题