GaoGao_dps

> > > > vLLM 的张量并行如果用多机多卡性能应该非常差吧，我们主要担心是否具备实用价值。 > > > > > > > > > 我觉得也需要支持单卡多模型推理，因为有时候任务分在多个模型上，推理是串行，并不需要并行推理，但是不能部署的话就需要更多的GPU，很浪费，其实就支持单卡多模型部署，性能由项目自己考虑就行 > > > > > > 你好，我想请问xinference中可以单卡多模型部署吗 > > 支持 你好，请问你是如何使用xinference成功部署多机多卡的？能说一下具体配置吗