ChatGLM-Finetuning icon indicating copy to clipboard operation
ChatGLM-Finetuning copied to clipboard

显存占用问题

Open cabbage404 opened this issue 11 months ago • 0 comments

请教一下,ChaGLM | zero2 | No | No | 1 | 1560 | 1 | 45G 注意到lora方式微调仍然需要45G的显存,好像并没有像有些博文里面写的lora方式微调可以忽略 lora部分的梯度、后向传播等显存占用,只需要模型本身的显存占用一样(模型好像是6B的,需要12G或者24G),为什么使用lora微调仍然需要这么大的显存呢

cabbage404 avatar Jan 08 '25 14:01 cabbage404