Chinese-LangChain icon indicating copy to clipboard operation
Chinese-LangChain copied to clipboard

Published 20 hours ago • verified publisher icon yanqiangmiffy

多GPU运行的问题

Open Just4Uzi opened this issue 1 year ago • 0 comments

可否实现将两个模型（chatglm和text2vec）加载到不同的GPU上呢，我发现自己的GPU（12G显存，实际可用11G多点）运行时显存会溢出，想问下将两个模型加载到不同GPU上是否可以实现

Just4Uzi avatar Apr 20 '23 08:04 Just4Uzi