professorhuanghaojing
Results
1
comments of
professorhuanghaojing
> [@professorhuanghaojing](https://github.com/professorhuanghaojing) LoRA 训练需要将模型全部加载进显存，这必然导致较大的显存需求。尽管推理时可以部分加载，训练时部分加载会导致训练速度极其缓慢，所以我们没有开启训练中的 offload 功能。 那能否在训练时实现部分加载呢？目前主要问题还是显存的问题，即使训练速度缓慢也能接受