Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

Published 20 hours ago • verified publisher icon ymcui

灾难性遗忘

Open zhangatao opened this issue 1 year ago • 5 comments

请问各位大佬，你们在用自己的数据继续训练Plus模型，得到的内容会出现模型通用能力变差的情况吗

zhangatao avatar May 22 '23 16:05 zhangatao

训练步骤是什么样的

LiemLin avatar May 23 '23 03:05 LiemLin

在Chinese-Alpaca-Plus-13B的基础上，使用自己构造的领域内instruct data进行微调

在Chinese-Alpaca-Plus-13B的基础上，使用自己构造的领域内instruct data进行微调

zhangatao avatar May 23 '23 07:05 zhangatao

基于源llama和chinese-llama-plus-lora的合并版本再训练alpaca可能会好些

LiemLin avatar May 24 '23 00:05 LiemLin

image

LiemLin avatar May 24 '23 01:05 LiemLin

基于源llama和chinese-llama-plus-lora的合并版本再训练alpaca可能会好些

感谢回复，我试试看

zhangatao avatar May 24 '23 13:05 zhangatao

done

zhangatao avatar May 28 '23 09:05 zhangatao