[BUG/Help] arm 版本的ubuntu使用CPU运行int4模型得到奇怪的结果

[CescMessi]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

修改cli_demo.py中的以下两行：

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b-int4", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b-int4", trust_remote_code=True).float()

运行后无报错，但回复不正常：

Expected Behavior

No response

Steps To Reproduce

如上

Environment

- CPU: 4x ARM Neoverse-N1
- OS: Ubuntu 22.04 jammy
- Python: 3.10.0
- Transformers: 4.30.2
- PyTorch: 2.0.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) : False

Anything else?

No response

[liuia]

centos7 gpu运行清华网盘下载的chatglm2-6b也有类似的问题

[OrdinaryChen]

兄弟 我的板子8g内存还有swap 用你的这串代码跑直接就内存不足噶了 咋回事啊 官方的代码也不行啊 就是内存炸

[OrdinaryChen]

我加了swap空间强行顶过去了 然后出现了和你一样的情况

[OrdinaryChen]

一样的问题啊 好奇怪啊 我是windows然后ssh连接的 你呢？ 会不会是字符集问题

[CescMessi]

一样的问题啊 好奇怪啊 我是windows然后ssh连接的 你呢？ 会不会是字符集问题

应该与字符集无关，其他程序是正常的。

[OrdinaryChen]

一样的问题啊 好奇怪啊 我是windows然后ssh连接的 你呢？ 会不会是字符集问题

应该与字符集无关，其他程序是正常的。

https://github.com/THUDM/ChatGLM2-6B/issues/640 这里有个人是这么个说法 但是我上了这个网站手动下载了还是不行 一样的乱的回答