LLaMA-Factory icon indicating copy to clipboard operation
LLaMA-Factory copied to clipboard

lora训练完后,多轮对话会吐出其他对话

Open yw2278 opened this issue 1 year ago • 1 comments

如图所示 image

训练数据是alpaca_gpt4_zh 训练方式是SFT epoch是3

想问下这种怎么解决?

yw2278 avatar Jun 21 '23 02:06 yw2278

训练和测试时候使用的 prompt_template 相同吗?如果相同可能只是微调不充分。

hiyouga avatar Jun 21 '23 02:06 hiyouga

我在调用webdemo的时候加了个 --prompt_template alpaca就正常了,但是训练代码命令里好像没有指定prompt,是因为源码默认用alpaca是么

是的,之前的默认是 alpaca,现在的默认是 default。测试时候的 template 要和训练一致。

hiyouga avatar Jun 21 '23 06:06 hiyouga