[Help] <ChatGLM2-6B 模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存，显卡可以使用 英伟达（NVIDIA） Tesla P40 吗>

[zuoyangs]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

ChatGLM2-6B 模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存，显卡可以使用 英伟达（NVIDIA） Tesla P40 吗

Expected Behavior

No response

Steps To Reproduce

ChatGLM2-6B 模型以 FP16 精度加载，运行上述代码需要大概 13GB 显存。显卡可以使用 英伟达（NVIDIA） Tesla P40 吗

Environment

- OS:
- Python:
- Transformers:
- PyTorch:
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :

Anything else?

No response

[TJJ120635]

我用的是 NVIDIA Corporation GP102GL [Tesla P40]，24G显存的P40没问题。注意一下要先加载到内存再放到显卡，内存别爆就可以

[mikestut]

我的M40都可以，你的P40就更可以的，速度杠杠的。