Hou Yanlong
Results
1
issues of
Hou Yanlong
模型部署困惑
2
在A800 8卡机上按照Chat Completion的示例代码加载模型 设置 max_memory = {i: "75GB" for i in range(8)} device_map="sequential" 启动后显存占用集中在0卡~6卡，7卡被完全放空，然后测试的上下文稍长一点，就报显存无法分配了 这是什么原因呢，有人遇到过吗