支持以PD分离模式运行多机的DeepSeek R1吗

Open inkhare opened this issue 8 months ago • 3 comments

rt.

Mar 17 '25 07:03 inkhare

现在还不行，还需要大概一到2周的时间来支持稳定。

Mar 17 '25 07:03 hiworldwzj

现在还不行，还需要大概一到2周的时间来支持稳定。

是目前已经在开发中了吗？

Mar 17 '25 08:03 inkhare

目前已经支持了，可以参考https://github.com/ModelTC/lightllm/blob/main/test/test.sh，支持多机tp/dp的 deepseek-r1 pd 部署

Apr 30 '25 06:04 shihaobai