Henry Gleichner
Results
1
comments of
Henry Gleichner
> [@professorhuanghaojing](https://github.com/professorhuanghaojing) LoRA 训练需要将模型全部加载进显存，这必然导致较大的显存需求。尽管推理时可以部分加载，训练时部分加载会导致训练速度极其缓慢，所以我们没有开启训练中的 offload 功能。 什么时候可以支持zero3 呢 ，如果支持zero3 也是能够解决一部分问题。