Video-LLaMA icon indicating copy to clipboard operation
Video-LLaMA copied to clipboard

Published 20 hours ago • verified publisher icon DAMO-NLP-SG

inferece如何使用多张V100代替一张A100？

Open flying2023 opened this issue 9 months ago • 4 comments

你好，如果只有V100机器，加载llama13B版本，会OOM，但有多张V100，如何实现类似automap的功能，将模型映射到多张v100GPU上？

flying2023 avatar Sep 27 '23 16:09 flying2023