服务器集群管理

Open aaadrain opened this issue 1 year ago • 1 comments

一般来说，GPT的部署都是多机多卡的集群部署形式，希望能做一些集群管理，比如：模型上、下线功能，集群中某台服务器的开启和关闭服务功能。

Oct 23 '24 02:10 aaadrain

我最近也在考虑这个问题，后面可能借助 docker swarm 或者k8s来实现

---原始邮件--- 发件人: @.> 发送时间: 2024年10月23日(周三) 上午10:35 收件人: @.>; 抄送: @.***>; 主题: [shell-nlp/gpt_server] 服务器集群管理 (Issue #18)

一般来说，GPT的部署都是多机多卡的集群部署形式，希望能做一些集群管理，比如：模型上、下线功能，集群中某台服务器的开启和关闭服务功能。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

Oct 23 '24 03:10 shell-nlp