Yiming Cui
Yiming Cui
huggingface-transformers的llama相关实现近期有一些小变动，所以建议你主要是聚焦于源头是否一致，例如llama-13b原版（pytorch）和下载的中文llama/alpaca权重文件。 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/SHA256.md
[准备工作](https://github.com/ymcui/Chinese-LLaMA-Alpaca#准备工作)里已经写了peft==0.2.0 😂 另外你也可以参考notebook里的转换脚本，看看是哪个步骤出现的问题。 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/notebooks/convert_and_quantize_chinese_llama.ipynb
出nan的可能原因太多了，建议你看一下我们最新push的精调代码和超参，对照比对一下你的设置。
你仔细看过example目录下的readme了么😂？ 至于差距大或不大这个我也很难去给出判断，毕竟不是客观可以度量的东西。 我们只能确定用我们给定的方法可以给出可比的效果。
llama是没有用指令数据训练的
https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/146#issuecomment-1507119602
没有这么细的point-to-point的对比。 从PPL上看，llama-7b-plus显著优于llama-7b，所以合理猜测同等SFT数据下alpaca-plus-7b占优。
模型合并的具体命令？提供详细信息。这么看你合并出来的模型似乎就是有问题的。
llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。