GLM-130B icon indicating copy to clipboard operation
GLM-130B copied to clipboard

Published 20 hours ago • verified publisher icon THUDM

如何理解finetune的机器要求

Open shuzi opened this issue 1 year ago • 1 comments

之前看到有评论说finetune这个模型需要24张40G的A100的卡， 总共960G显存

我有一台40G A100 服务器 和 一台 80G A800 服务器， 40 * 8 + 80 * 8 = 960 ， 总共也是960G显存， 能把finetune跑起来么？

这个显存的要求该如何理解呢

shuzi avatar Mar 31 '23 07:03 shuzi