[BUG/Help] <title>linux系统，使用cpu，系统运行后卡住不回答是怎么回事儿？

[luckytalk]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

linux操作系统，使用CPU布署，运行cli_demo出来提示后，卡住不回答是怎么回事儿？

Expected Behavior

No response

Steps To Reproduce

linux系统； cpu布署

Environment

- OS:centos
- Python:3.10.9
- Transformers:默认
- PyTorch:1.13.1
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[XiaTiaoQAQ]

看看你的内存- -，我遇到过还有一种可能是访问gradio的网址，会因为墙的因素丢包导致回答在UI上卡住。

[ZXStudio]

我也有这个问题，不是web的方式，就是cli_demo.py方式

[mingyue0094]

如果没有报错。看起来就是卡住了的样子。 那么，百分之95 是cpu模式吧。应为太慢了。睡一觉起来，就有回复了。。。。

[ZXStudio]

如果没有报错。看起来就是卡住了的样子。那么，百分之九十五是cpu模式吧。应该为太慢了。睡一觉起来，就有恢复了。。。。

torch.cuda.is_available()输出的是true，是GPU模式

[luckytalk]

解决了，是内存不够。运行INT4就没问题