移花香

登陆 --> 登录

chore(main.py): 修复错别字

2

登陆 --> 登录

fix "ouput" to "output"

登陆 --> 登录

修复用户长时间未说话时自动断开bug

部署后报错 size mismatch for transformer.word_embeddings.weight: copying a param with shape torch.Size([18816, 12288]) from checkpoint, the shape in current model is torch.Size([150528, 12288]).

5

错误信息如下：这是为什么？没改参数 (py39) [root@iZt4neiya2cung434kemk2Z GLM-130B]# bash scripts/generate.sh --input-source interactive WARNING: No training data specified using world size: 1 and model-parallel size: 8 > padded vocab (size: 150528) with 0 dummy tokens...

V100（8 * 32G）运行报错

14

下载模型并解压后修改配置并运行`bash scripts/generate.sh --input-source interactive `后报错 ## 配置修改内容如下： (py39) [root@iZbp1219pbxs72sxk8onovZ GLM-130B]# git diff diff --git a/configs/model_glm_130b_v100.sh b/configs/model_glm_130b_v100.sh index 0b33485..1a474a8 100644 --- a/configs/model_glm_130b_v100.sh +++ b/configs/model_glm_130b_v100.sh @@ -1,5 +1,5 @@ MODEL_TYPE="glm-130b" -CHECKPOINT_PATH="" +CHECKPOINT_PATH="/root/130b/glm-130b-sat"...

Update requirements.txt

1

add numpy==1.20.3 fix bug: https://github.com/THUDM/GLM-130B/issues/168 修复安装 numpy （>=1.24.3） 更新版本导致的报错

如何将GLM10B封装成对话式API

3

ChatGLM-6B对外暴露的是对话式API，GLM-10B暴露的是文本补全式的API，如何能将GLM-10B封装成对话式API呢？ 我尝试过将对话内容封装成对话文本让GLM-10B进行补全，但是效果很不好，求建议❤️❤️❤️ 原理：将对话内容封装成一段字符串，每次到AI回答的时候就将历史聊天记录封装成字符串，由AI进行补全 封装成对话文本如下： > 有一段对话内容如下 > > 用户：你好哇 > 机器人： 你好哇,我是 GLM10B 智能机器人,很高兴与你对话。 > 用户：你知道我是谁吗？ > 机器人： 你好哇,我是 GLM10B 智能机器人,很高兴与你对话。 > 用户：你猜猜我叫什么 > 机器人：[sMASK] 对话效果如下： 对话效果很差，AI机器人一直在重复。

登陆 --> 登录