ChatGLM-6B
ChatGLM-6B copied to clipboard
[BUG/Help] <加载模型出错>
Is there an existing issue for this?
- [X] I have searched the existing issues
Current Behavior
在执行“代码调用”相关代码的时候,每次加载到Loading checkpoint shards: 38%都会Killed。
包括手动下载参数,再加载到模型依旧会出现该问题:
Expected Behavior
想问一下,不论是Transformer加载还是本地加载,都需要执行Loading checkpoint shards吗。如果不是,可能是什么原因造成的呢?内存吗?
Steps To Reproduce
1.OS: WSL-Ubuntu 2.python: 3.9
Environment
- OS:WSL-Ubuntu
- Python:3.9
- Transformers:4.27.1
- PyTorch:2.0
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :
Anything else?
No response
可能是内存不够,可以运行的过程中执行free看下,是不是kill掉的时候内存超了。