fastllm icon indicating copy to clipboard operation
fastllm copied to clipboard
verified publisher icon ztxz16

TP多卡部署

Open rayle01 opened this issue 2 years ago • 3 comments

后续支持tp切分多卡部署吗？看FasterTransformer Bloom-7b的方案做tp切分，速度会有明显提升

rayle01 avatar Jun 21 '23 08:06 rayle01

Tensor并行要设计通信算子，涉及到通信就好多问题需要考虑。

wildkid1024 avatar Jun 25 '23 23:06 wildkid1024

是比较长期的计划了，工作量比较大 （而且我手头没双卡机器... ）

ztxz16 avatar Jun 26 '23 09:06 ztxz16

确实。chatglm2-6b模型结构有更新，应该也有开发计划了吧，大佬加油

rayle01 avatar Jun 26 '23 12:06 rayle01