微调后，测试问答生成，确实能回答我给他学习的内容 ，但后面会追加很多其它文本 这要怎么解决？

[cywjava]

Is there an existing issue for this?

• [X] I have searched the existing issues

Current Behavior

微调后，测试问答生成，确实能回答我给他学习的内容 ，但后面会追加很多其它文本 这要怎么解决？

Expected Behavior

微调后，测试问答生成，确实能回答我给他学习的内容 ，但后面会追加很多其它文本 这要怎么解决？

Steps To Reproduce

微调后，测试问答生成，确实能回答我给他学习的内容 ，但后面会追加很多其它文本 这要怎么解决？

Environment

- OS:centos 7.9
- Python:3.7.16
- Transformers:4.27.1
- PyTorch:1.13
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :11.7

Anything else?

微调后，测试问答生成，确实能回答我给他学习的内容 ，但后面会追加很多其它文本 这要怎么解决？

[superbigsea]

能分享下你的训练数据吗

[Tungsong]

同问，能给一下你的训练数据示例以及你的训练参数吗

[Crazycatter]

最大文本长度调到128试试

[cywjava]

最大文本长度调到128试试

128，岂不是连我自己的标准答案都被它给截断了啊。。

[cywjava]

同问，能给一下你的训练数据示例以及你的训练参数吗

我用的lora 微调，数据是自己造的alpaca 数据

[Tungsong]

同问，能给一下你的训练数据示例以及你的训练参数吗

我用的lora 微调，数据是自己造的alpaca 数据

那lora的具体参数是什么呢，数据就是你按alpaca的形式构造的自己的数据吗，方便展示一两条吗，我用Lora的方法去微调模型，也是自己的alpaca数据，但是效果不好，跑了10个epoch才能勉强记住我的问题

[FrankWhh]

我自己用lora调感觉效果也是不符合预期，用英文alpaca数据加一些中文自定义数据，英文能力有提升，譬如很少中英混杂，但是中文问题就没太学进去，比如，Q：你是谁 A：我是XXX，这个回答还是原来的。

[cywjava]

我自己用lora调感觉效果也是不符合预期，用英文alpaca数据加一些中文自定义数据，英文能力有提升，譬如很少中英混杂，但是中文问题就没太学进去，比如，Q：你是谁 A：我是XXX，这个回答还是原来的。

训练的步数太少了。