self-llm icon indicating copy to clipboard operation
self-llm copied to clipboard

Published 20 hours ago • verified publisher icon datawhalechina

【XVERSE-7B-chat WebDemo 部署】报错 torch.cuda.OutOfMemoryError: CUDA out of memory.

Open hgsw opened this issue 9 months ago • 2 comments

你好，我在 XVERSE-7B-chat WebDemo 部署的模块中运行chatBot.py文件连续体验十几轮问答后，就开始报存显存溢出了，我不知这是为什么，chatBot.py代码里我没有明显看到和显存相关的设置。 报错信息如下： 图片

此外我发现随着是问答轮数的增加，显存也是在逐渐增加的，chatBot.py文件刚运行时候大概子啊14.6G左右，报错时的显存占用大概在18G，截图如下： 图片

hgsw avatar May 13 '24 09:05 hgsw