Chinese-Vicuna
Chinese-Vicuna copied to clipboard
scripts中不同训练脚本的差异与训练效果的问题
请问在scripts中的finetune.sh
,finetune_continue.sh
,finetune_others_continue.sh
的训练脚本有什么具体的不同吗?可以详细说说吗?如果要进行垂直训练,最好使用哪个呢?
readme应该有说这几个脚本的不同吧
@Facico README中说的还是比较清楚的。但是有一个疑问,这边用finetune_others_continue.sh是基于其他数据集继续微调,相当于用您这边已经训练好的lora模型,即LLAMA+你的lora模型+我的数据 ,然后训练得出结果。finetune.sh看样子是直接使用LLAMA模型进行微调,即LLAMA+我的数据,然后结合lora方法,训练得出结果。感觉区别只是在于是否使用了你们的lora。不清楚自己理解的是否正确?实际上,这两者有什么区别呢?直接用你们训练好的lora+finetune_other_continue.sh是否是应该更好.呢?为什么还要区分一下是否是额外的数据集呢,感觉对于finetune.sh而言,我的数据也相当于额外的数据呀。麻烦大佬指导一下?