训练后的数据不理想

[frog-game]

这是我改过的infer-literature-single.sh脚本内容

这是我调用bash ./scripts/finetune.sh执行的finetune脚本

这是结果

[s65b40]

您好，感谢您的关注，您运行的脚本是基于文献生成数据的指令微调训练过程，由于一些原因，我们当前开源的文献生成数据仅为样例，并非全部的数据，故训练出的模型效果有限，如有需要，您可以收集一些文献，构造一批指令微调数据，这样的效果会更好些，谢谢

[herobrine19]

您好, 请问这种情况也是因为finetune的数据(./data/llama_data.json)太少了导致的吗? 经常会复读.

[woshicqy]

你好，请问你是什么操作系统，如何本地部署的啊？我目前本地部署，bitsandbytes总是报错

[s65b40]

的

复读的问题在基于LLaMA指令微调的背景下是很常见的问题，原因也是多样的，根据经验可以通过对模型扩充中文词表，增加训练数据，超参设置等进行缓解