zero-lora
zero-lora copied to clipboard
是否要定期发布新训练的模型检查点?
trafficstars
https://github.com/PhoebusSi/Alpaca-CoT/issues/53 是否要定期发布新训练的模型检查点?
【zw-ps】 强烈建议发布,目前hf极度缺乏这种不同时间周期的连续训练模型,而这种模型和数据,是很多llm优化项目说需要的。 在《zero-lora零训练llm调参算法》当中,其中的一个关注要点就是: https://github.com/ziwang-com/zero-lora 基于时间(不同训练周期检查点)、空间(不同token权重对比)、深度(不同模型的tok权重映射)等多种维度的lora权重优化体系。