WebGLM 运行 WebGLM 的最低硬件（例如 GPU、内存）要求是多少？

运行 WebGLM 的最低硬件（例如 GPU、内存）要求是多少？

Open bennylam opened this issue 1 year ago • 5 comments

运行 WebGLM 的最低硬件要求（例如 GPU、内存）是多少？它可以在 Nvidia 3060 6G VRAM 和 Intel i7 CPU 16G RAM 上顺利安装和运行吗？需要多少硬盘空间 ?

Jun 25 '23 01:06 bennylam

2b的模型，加载后需要4.8g显存，推理的使用需要5.7g所以6vgram有很大几率爆显存，我32g的内存占用了11g不到一点，16g估计应该可以。

Jun 25 '23 05:06 ilovesouthpark

10b模型需要的显存应该超过24G了，然后我32G内存，似乎也不够用，后续不知道能否提供int8或者int4的方案。

Jun 25 '23 06:06 ilovesouthpark

同样期待，int8与 int4 的方案，因为目前手上只有24GB的3090

或者如何支持多卡运行

Jun 26 '23 08:06 berwinjoule

10B的模型大概占用20GB显存，单卡4090可以跑

Jul 30 '23 16:07 zilunzhang

是的，但是因为要先导入内存，需要的内存大于32g，建议内存还是上到64g比较好

Aug 01 '23 06:08 ilovesouthpark