Linly icon indicating copy to clipboard operation
Linly copied to clipboard

Published 20 hours ago • verified publisher icon CVI-SZU

如何在A100 40G上多卡部署 Chinese-LLaMA-33B？

Open xfg0913 opened this issue 2 years ago • 2 comments

希望在A100 40G上部署 Chinese-LLaMA-33B，进行推理，单张卡的显存不够。如何进行多卡部署，如2张卡进行推理？能否提供示例代码？非常感谢！

xfg0913 avatar May 25 '23 04:05 xfg0913

可以在 llama_infer 中指定 world_size 参数来使用多卡

ydli-ai avatar May 30 '23 02:05 ydli-ai

可以在 llama_infer 中指定 world_size 参数来使用多卡

非常感谢！

xfg0913 avatar Jun 01 '23 06:06 xfg0913