bisheng
bisheng copied to clipboard
未在0卡部署模型,为什么0卡显存占用满了
模型部署在1,5|2,3卡上,进行对话时提示gpu 0卡显存不足
目前只有闭源模型layout和ocr部署在0卡
查询0卡进程,发现有一个backend-stub显存占用15g
杀死该进程后,模型无法正常使用,显示如下
请问该进程是模型启动占用得显存吗,为什么没有部署在0卡,0卡却有进程占用显存
测试发现只有使用知识库检索组件时出现显存溢出问题,单纯得LLMChain正常运行
显存溢出得组件连接如下
技能模块暂时不再提供支持,建议使用工作流