ChatGLM-Finetuning icon indicating copy to clipboard operation
ChatGLM-Finetuning copied to clipboard

Published 20 hours ago • verified publisher icon liucongg

关于流水线并行的一个问题

Open Cheung-Z opened this issue 9 months ago • 0 comments

作者您好， 最近在跑流水线并行的代码，并尝试在qwen上复现，但发现一个问题，pipemodel需要基于basemodel加载，以7B模型为例，相当于内存中最多的时候需要加载2 * 14g，是这样吗？ 感觉想在8 * 32G v100上跑qwen 32B的希望破灭了....

Cheung-Z avatar May 14 '24 07:05 Cheung-Z