lightllm
lightllm copied to clipboard
支持以PD分离模式运行多机的DeepSeek R1吗
rt.
现在还不行,还需要大概一到2周的时间来支持稳定。
现在还不行,还需要大概一到2周的时间来支持稳定。
是目前已经在开发中了吗?
目前已经支持了,可以参考https://github.com/ModelTC/lightllm/blob/main/test/test.sh,支持多机tp/dp的 deepseek-r1 pd 部署