bisheng icon indicating copy to clipboard operation
bisheng copied to clipboard

未在0卡部署模型,为什么0卡显存占用满了

Open g9420 opened this issue 1 year ago • 1 comments

模型部署在1,5|2,3卡上,进行对话时提示gpu 0卡显存不足

目前只有闭源模型layout和ocr部署在0卡

查询0卡进程,发现有一个backend-stub显存占用15g image

杀死该进程后,模型无法正常使用,显示如下 image

请问该进程是模型启动占用得显存吗,为什么没有部署在0卡,0卡却有进程占用显存

g9420 avatar Jul 05 '24 07:07 g9420

测试发现只有使用知识库检索组件时出现显存溢出问题,单纯得LLMChain正常运行

显存溢出得组件连接如下 image

g9420 avatar Jul 05 '24 08:07 g9420

技能模块暂时不再提供支持,建议使用工作流

sara2398 avatar Aug 25 '25 08:08 sara2398