ChatGLM-Efficient-Tuning icon indicating copy to clipboard operation
ChatGLM-Efficient-Tuning copied to clipboard

Published 20 hours ago • verified publisher icon hiyouga

full tuning 显存不足

Open chenkejin opened this issue 1 year ago • 2 comments

4卡训练，在vicuna、baichuan都可以正常训练，但是chatglm2显存不足，max-length调到128以及batch size=1 还是不行

chenkejin avatar Jul 04 '23 10:07 chenkejin

我也遇到了同样的问题

mao-ym avatar Jul 04 '23 12:07 mao-ym

ChatGLM 对 ZeRO-3 的兼容性比较差。全量微调需要启用 ZeRO-2 并在 A100 80G * 3 上进行训练

hiyouga avatar Jul 04 '23 15:07 hiyouga