DeepSeek-Coder icon indicating copy to clipboard operation
DeepSeek-Coder copied to clipboard
verified publisher icon deepseek-ai

模型推理完成后怎么一直占用显存呢？

Open chris-rong opened this issue 1 year ago • 2 comments

加载模型只占用14G显存，为什么推理完成后显存一直飙到27G，且一直不释放。使用torch.cuda.empty_cache()也没用。

  1. 请问这是什么原因呢？
  2. 模型会一直保存最后一轮对话的内容吗？
  3. 怎么在每一轮对话后释放显存呢？ 使用的模型是deepseek-coder-6.7b-instruct image

chris-rong avatar Mar 05 '24 07:03 chris-rong

这个跟模型无关，主要还是代码问题。不太确定你用的是什么代码

guoday avatar Mar 12 '24 02:03 guoday

可能得原因有哪些呢？存中间结果的话为什么不能立即释放呢

Tendo33 avatar May 21 '24 02:05 Tendo33