继续指令微调Alpaca生产内容重复

[DendiHust]

详细描述问题

你好，我使用医疗领域的指令在alpaca-plus的基础上继续进行指令微调，发现模型总是重复生产相同的内容，具体见如下截图。请问是什么问题。

运行截图或日志

必查项目（前三项只保留你要问的）

• [x] 基础模型：Alpaca-Plus
• [x] 运行系统：Linux
• [x] 问题分类：模型训练与精调 /效果问题
• [x] （必选）由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [x] （必选）我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [x] （必选）第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案

[iMountTai]

您合并后的原版alpaca-plus有这样的问题吗？

[DendiHust]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

[airaria]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

可否用llama.cpp测试问答是否正常？

[PhoebeChen123]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

我也遇到了同样的问题，用的也是alpaca-plus，请问你解决了吗？

[Ahrli]

第一次模型合并我也有这个问题, 然后发现模型合并错了

[PhoebeChen123]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

[airaria]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

使用了多轮对话数据训练吗

[PhoebeChen123]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

使用了多轮对话数据训练吗

单轮的alpaca格式的数据 { "Instruction": "什么是精神病性障碍？", "input": "", "output": "精神病性障碍患者的心理活动常常脱离现实，表现为幻觉、妄想、过分偏执等。" },

[huruizhi]

详细描述问题

你好，我使用医疗领域的指令在alpaca-plus的基础上继续进行指令微调，发现模型总是重复生产相同的内容，具体见如下截图。请问是什么问题。

运行截图或日志

必查项目（前三项只保留你要问的）

• [x] 基础模型：Alpaca-Plus
• [x] 运行系统：Linux
• [x] 问题分类：模型训练与精调 /效果问题
• [x] （必选）由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [x] （必选）我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [x] （必选）第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案

您用的什么型号的GPU进行微调的呢？

[DendiHust]

详细描述问题

你好，我使用医疗领域的指令在alpaca-plus的基础上继续进行指令微调，发现模型总是重复生产相同的内容，具体见如下截图。请问是什么问题。

运行截图或日志

必查项目（前三项只保留你要问的）

• [x] 基础模型：Alpaca-Plus
• [x] 运行系统：Linux
• [x] 问题分类：模型训练与精调 /效果问题
• [x] （必选）由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [x] （必选）我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [x] （必选）第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案

您用的什么型号的GPU进行微调的呢？

A800 80G

[nicole828]

请问你们模型合并是必备的环节么？只能用llama-7b的原版模型吗？

[nicole828]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

怎么用的合并后的模型

[PhoebeChen123]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

怎么用的合并后的模型

https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%89%8B%E5%8A%A8%E6%A8%A1%E5%9E%8B%E5%90%88%E5%B9%B6%E4%B8%8E%E8%BD%AC%E6%8D%A2

https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E6%8C%87%E4%BB%A4%E7%B2%BE%E8%B0%83%E8%84%9A%E6%9C%AC

[nicole828]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

请问一下，您是用什么合并的？原版的llama-7B模型吗？

[PhoebeChen123]

第一次模型合并我也有这个问题, 然后发现模型合并错了

我这边是合并后的模型直接做测试不会有这个问题，是用自己的新的指令数据集微调后的模型，开始复读

请问一下，您是用什么合并的？原版的llama-7B模型吗？

不是，是从huggingface上找的已经转成hf的llama模型……（可能后续的问题也是这里导致的）

[DendiHust]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

可否用llama.cpp测试问答是否正常？

这段代码，如果长度超出max_seq_length，会不会把eos截掉，导致长句子训练的时候没有eos标签？

[airaria]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

可否用llama.cpp测试问答是否正常？

这段代码，如果长度超出max_seq_length，会不会把eos截掉，导致长句子训练的时候没有eos标签？

有这个可能。如果你的训练集里都是长句子，而最大长度又不够，那训练集中的确就会几乎没有eos

[DendiHust]

感谢您的回复。我做了下测试，如下所示 第二个问题的回复好像有些问题

可否用llama.cpp测试问答是否正常？

这段代码，如果长度超出max_seq_length，会不会把eos截掉，导致长句子训练的时候没有eos标签？

有这个可能。如果你的训练集里都是长句子，而最大长度又不够，那训练集中的确就会几乎没有eos

这会是模型回答重复的原因吗？

[airaria]

可能会生成得停不下来。 只是推测，因为我们也没有用超过截断长度的文本训练过

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.