lmft icon indicating copy to clipboard operation
lmft copied to clipboard

Published 20 hours ago • verified publisher icon shibing624

使用lora方式微调，是否对模型原先回答能力造成混乱，以及多轮对话造成影响呢。

Open huangding1535 opened this issue 1 year ago • 2 comments

huangding1535 avatar Apr 12 '23 07:04 huangding1535

会的。 所以如果想降低其影响，需要1）高质量的微调数据集；2）微调后尽量局限在微调领域处理，微调后的模型在领域表现更好，但微调数据不涉及的方面其效果会打折扣。

shibing624 avatar Apr 12 '23 10:04 shibing624

同这个问题 https://github.com/THUDM/ChatGLM-6B/issues/403#issuecomment-1504811698

shibing624 avatar Apr 12 '23 10:04 shibing624