ChatGLM-Tuning 使用默认代码在单卡上进行推理的时候为什么其他显卡上也会有进程（占用）

使用默认代码在单卡上进行推理的时候为什么其他显卡上也会有进程（占用）

Open Daniel-1997 opened this issue 1 year ago • 4 comments

如上，直接用本项目中提供的推理代码，模型和数据都加载到0号显卡上，但是发现2， 3， 4上也会有占用，0号显卡上占用最多（13G+），其他显卡大概占用 4G+，请问这是什么原因呢？

Jun 08 '23 00:06 Daniel-1997

@Daniel-1997 应该前面加上CUDA_VISIBLE_DEVICES=0

Jun 14 '23 01:06 yeyupiaoling

@Daniel-1997 应该前面加上CUDA_VISIBLE_DEVICES=0 好的，谢谢，只要在脚本最前面加上这个就可以了

Jun 14 '23 01:06 Daniel-1997

您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢

Sep 10 '23 07:09 ATP-BME

您好，请问您知道怎么做到多卡推理吗？我有8张10G显存的显卡，但是在加载模型的时候会在第一张卡上报错CUDA out of memory，为什么第一张卡会明显占用更多呢

我参考ChatGLM-6B的文档解决了这个问题“https://github.com/THUDM/ChatGLM-6B#%E5%A4%9A%E5%8D%A1%E9%83%A8%E7%BD%B2”

Sep 10 '23 09:09 ATP-BME