VisualGLM-6B icon indicating copy to clipboard operation
VisualGLM-6B copied to clipboard
verified publisher icon THUDM

能否列出具体的硬件资源要求？

Open puppywang opened this issue 2 years ago • 2 comments

我尝试用colab运行 web_demo_hf.py, 执行到 Loading checkpoint shards: 0% 0/5 [00:00<?, ?it/s]^C 直接退出了，看系统内存有个尖峰，应该是超过了默认的12.7GB，我想了解下运行这个模型最低的硬件要求是多少，比如类似下面的具体描述，这样我好找具体的机器来部署，谢谢.

vCPU:
RAM:
GPU RAM:

puppywang avatar May 18 '23 09:05 puppywang

colab上直接代码调用 无量化推理GPU：15.2G

dzgdp888 avatar May 19 '23 02:05 dzgdp888

加载模型时内存峰值19.7G

dzgdp888 avatar May 19 '23 02:05 dzgdp888