Qwen icon indicating copy to clipboard operation
Qwen copied to clipboard

💡 [REQUEST] - <title>qwen推理模型是否可以多机分布式部署?(单机单卡不足以支撑推理模型部署,需要多机多卡)

Open feifaxiaoming opened this issue 4 months ago • 8 comments

起始日期 | Start Date

No response

实现PR | Implementation PR

我想布置qwen-14B-chat推理模型,但是我只有两台16G显存的机器,一张卡上运行不起来模型,我想问一下,是否可以两台机器分布式部署推理模型

相关Issues | Reference Issues

No response

摘要 | Summary

多台机器分布式部署推理模型

基本示例 | Basic Example

如何使用两台tesla-16G进行14B-chat的推理

缺陷 | Drawbacks

单机单卡不足以支撑

未解决问题 | Unresolved questions

No response

feifaxiaoming avatar Oct 22 '24 02:10 feifaxiaoming