WebGLM icon indicating copy to clipboard operation
WebGLM copied to clipboard

WebGLM加载最新,chatglm2-6B模型。

Open mikestut opened this issue 2 years ago • 6 comments

声明export SERPAPI_KEY=“***********************************”后执行如下:

image GPU加载为13GB,是chatglm2-6B模型。 image

mikestut avatar Jul 02 '23 14:07 mikestut

访问结果: image

image 求达人支持!!

mikestut avatar Jul 02 '23 14:07 mikestut

声明export SERPAPI_KEY=“***********************************”后执行如下:

image GPU加载为13GB,是chatglm2-6B模型。 image

历史问题:https://github.com/THUDM/WebGLM/issues/33,双卡目前不支持10B大模型。

mikestut avatar Jul 02 '23 14:07 mikestut

你好!WebGLM 使用的并非 6B 的 Chat 模型(ChatGLM-6B 或者 ChatGLM2-6B),而是 2B/10B 的基座模型,你可以使用 THUDM/WebGLM-2B 或 THUDM/WebGLM 载入模型

Longin-Yu avatar Jul 03 '23 04:07 Longin-Yu

你好!WebGLM 使用的并非 6B 的 Chat 模型(ChatGLM-6B 或者 ChatGLM2-6B),而是 2B/10B 的基座模型,你可以使用 THUDM/WebGLM-2B 或 THUDM/WebGLM-10B 载入模

本以为6b能加载就能用,结果还是用不了。基座模型到底是个啥,参数都不一样。

mikestut avatar Jul 03 '23 13:07 mikestut

不同的基座模型架构或参数量不一样,无法混用

Longin-Yu avatar Jul 05 '23 06:07 Longin-Yu

ChatGLM2-6B的基座模型有开源吗?

luofan18 avatar Jan 17 '24 10:01 luofan18