gpt_academic [Feature]: 随着对话的进行，显存使用量一直在增加，直到爆显存。是否提供清理对话历史和显存的方法。

[Feature]: 随着对话的进行，显存使用量一直在增加，直到爆显存。是否提供清理对话历史和显存的方法。

Open Dolphin4mi opened this issue 1 year ago • 3 comments

大语言模型

版本：3.62 本地部署的qwen 14B模型，load参数后显存使用量是15G左右，随着对话的进行，显存使用量一直在增加，直到爆显存（24G RTX3090）。是否提供清理对话历史和显存的方法。

Dec 12 '23 15:12 Dolphin4mi

显存的占用和每次输入的token上下文长度有关

Dec 13 '23 08:12 binary-husky

显存的占用和每次输入的token上下文长度有关

但是我尝试点击重置按钮，清空上下文，但是显存并不会回收。随着对话轮数的增加，一定会爆显存，我认为这是不应该的，我如何才能清空所有上下文信息而不重启程序。感谢回复！

Dec 13 '23 12:12 Dolphin4mi

显存的占用和每次输入的token上下文长度有关

但是我尝试点击重置按钮，清空上下文，但是显存并不会回收。随着对话轮数的增加，一定会爆显存，我认为这是不应该的，我如何才能清空所有上下文信息而不重启程序。感谢回复！

显存不释放是正常现象，这样能方便pytorch管理显存，避免爆显存的根本还是在于控制上下文长度，这个后面得加个patch

Dec 15 '23 05:12 binary-husky