Qwen
Qwen copied to clipboard
💡 [REQUEST] - <title>qwen推理模型是否可以多机分布式部署?(单机单卡不足以支撑推理模型部署,需要多机多卡)
起始日期 | Start Date
No response
实现PR | Implementation PR
我想布置qwen-14B-chat推理模型,但是我只有两台16G显存的机器,一张卡上运行不起来模型,我想问一下,是否可以两台机器分布式部署推理模型
相关Issues | Reference Issues
No response
摘要 | Summary
多台机器分布式部署推理模型
基本示例 | Basic Example
如何使用两台tesla-16G进行14B-chat的推理
缺陷 | Drawbacks
单机单卡不足以支撑
未解决问题 | Unresolved questions
No response