LynnLiu
Results
2
comments of
LynnLiu
> 请问有可以多机多卡部署模型的方法么？ 试试ray cluster
> 主要担心是否具备实用价值。 我觉得多机多卡的价值有这几点： 1. 单机显存不够的情况，跨机是必要的； 2. 单机显存刚好，但是kv cache空间太小，导致max_tokens有限。