Chinese-Vicuna icon indicating copy to clipboard operation
Chinese-Vicuna copied to clipboard

scripts中不同训练脚本的差异与训练效果的问题

Open FURYFOR opened this issue 1 year ago • 2 comments

请问在scripts中的finetune.sh,finetune_continue.sh,finetune_others_continue.sh的训练脚本有什么具体的不同吗?可以详细说说吗?如果要进行垂直训练,最好使用哪个呢?

FURYFOR avatar Jun 02 '23 10:06 FURYFOR

readme应该有说这几个脚本的不同吧

Facico avatar Jun 29 '23 09:06 Facico

@Facico README中说的还是比较清楚的。但是有一个疑问,这边用finetune_others_continue.sh是基于其他数据集继续微调,相当于用您这边已经训练好的lora模型,即LLAMA+你的lora模型+我的数据 ,然后训练得出结果。finetune.sh看样子是直接使用LLAMA模型进行微调,即LLAMA+我的数据,然后结合lora方法,训练得出结果。感觉区别只是在于是否使用了你们的lora。不清楚自己理解的是否正确?实际上,这两者有什么区别呢?直接用你们训练好的lora+finetune_other_continue.sh是否是应该更好.呢?为什么还要区分一下是否是额外的数据集呢,感觉对于finetune.sh而言,我的数据也相当于额外的数据呀。麻烦大佬指导一下?

niuhuluzhihao avatar Jul 01 '23 15:07 niuhuluzhihao