LLaMA-Pro icon indicating copy to clipboard operation
LLaMA-Pro copied to clipboard

Published 20 hours ago • verified publisher icon TencentARC

对比lora优势是什么

Open xiaozhu1106 opened this issue 11 months ago • 1 comments

您好，有几点请教下； 1.预训练使用lora，也是只训练lora新增加的参数。那和lora对比优势是什么呢？ 2.这种方式预训练时，避免遗忘，增加领域数据时，还需要增加适当的通用数据混合吗？ 3.sft阶段，是使用的全参训练吧，那sft阶段还是避免不了遗忘呢

xiaozhu1106 avatar Feb 28 '24 05:02 xiaozhu1106