[Bug]: chatGLM3-6B加载本地权重文件

[huitang96]

Installation Method | 安装方法与平台

OneKeyInstall (一键安装脚本-windows)

Version | 版本

Latest | 最新版

OS | 操作系统

Windows

Describe the bug | 简述

目的：我希望ChatGLM3加载本地权重，因为我自己已经提前下载了7个权重文件，而不使用在线下载 过程：我修改了bridge_chatglm3.py中 33行的else: model_name = "D:/proj/chatglm6b/" # FP16 ; 这个路径下存放了权重的相关文件。 现象：提问后，只有Loading checkpoint shards，没有结果

Screen Shot | 有帮助的截图

Terminal Traceback & Material to Help Reproduce Bugs | 终端traceback（如有） + 帮助我们复现的测试材料样本（如有）

No response

[binary-husky]

终端有出现报错吗？另外加载在线模型是否会出现同样的问题？

[huitang96]

终端有出现报错吗？另外加载在线模型是否会出现同样的问题？

感谢回复，终端显示的信息如上图右下角所示，显示加载tokenizer完毕， 然后就没有后续内容再出现。加载在线模型因为下载速度极慢，所以无法确定。

[binary-husky]

好的 我尝试验证以下

[binary-husky]

如果有其他人或其他发现也请留言

[xunge]

我这里是没问题的，可以正常加载本地模型

[bluescv]

我遇到了类似情况，后来发现是因为配置文件里device默认是CPU，需要显式指定为cuda。程序表现为卡住可能是因为CPU推理极慢导致的。