gpt_academic [Feature]: 如何使用多个显卡以及Llama 13B 和70B的支持

[Feature]: 如何使用多个显卡以及Llama 13B 和70B的支持

Open infinitywings opened this issue 2 years ago • 6 comments

大语言模型

我直接从运行的docker镜像，但是发现chatglm 和llama2的模型都只运行在了一个gpu上，我的机器有4*A5000，剩下的三个卡都是空着的。所以想问下本项目是否支持多卡并行，好让我把四个卡都用起来或者跑更大的模型。

Nov 18 '23 04:11 infinitywings

是可以的，不过需要修改一些代码去改动 os.environ

Nov 18 '23 08:11 binary-husky

是可以的，不过需要修改一些代码去改动 os.environ

我大概明白了，我自己试一下

Nov 18 '23 15:11 infinitywings

是可以的，不过需要修改一些代码去改动 os.environ

我大概明白了，我自己试一下

您好，请问您解决了这个问题么？

Jan 27 '24 05:01 ggfengxuan

是可以的，不过需要修改一些代码去改动 os.environ

我大概明白了，我自己试一下

您好，请问您解决了这个问题么？

已通过accelerate解决

Jan 27 '24 15:01 ggfengxuan