Yiming Cui
Yiming Cui
不是很清楚，llama.cpp的GPU支持似乎是近期才添加的，可能是属于实验性的，最好是再等等稳定了再使用。
我们在训练的时候把instruction+input合并为模型输入了，所以爬取脚本中的input就是对应我们的模型输入。
最后一行已经说明问题了 词表大小不是32000
1）转成HF格式或者PTH格式之后实际就和原版LLaMA没什么区别了，至于是要不要量化取决于你要接入什么程序。HF推理并不需要你量化模型。 2）LLaMA和Alpaca区别：https://github.com/ymcui/Chinese-LLaMA-Alpaca#我应该选什么模型
合理怀疑是你的输入中包含回车导致的。 需要注意，输入文本如果需要换行， 是需要用`\`符号进行分割的。 ``` - If you want to submit another line, end your input in '\'. ``` 另外， 1）batch size 16或32都行，看你现在设置成2了，也不必设置的这么低。 2）repeat_penalty 1.1左右更好一些
看到你现在的`n_batch=512`，batch size 可以调小一些，其实对速度没有什么影响。 以下是llama.cpp官方的解释： ``` `-b N, --batch_size N`: Set the batch size for prompt processing (default: 512). This large batch size benefits users who have BLAS installed and enabled...
如果在Alpaca系列模型上继续预训练，那么可能会丢失Alpaca模型原有的一些指令跟随和聊天能力。有条件的还是建议在Alpaca继续做指令精调，而不是增量预训练。因为你的提问与本issue关联度较低，如有其他问题，请新建issue。 @zzisbeauty
alpaca-plus的模型合并方式有变化，所以不能直接用meta-llama + alpaca-plus-lora的形式加载。 大致的意思是：alpaca-plus = (meta-llama + **llama-plus-lora**) + alpaca-plus-lora 所以基模型应该用meta-llama + **llama-plus-lora** 合并之后的模型。 详见Wiki最后的描述：https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/使用Transformers推理
调小batch size试一下，`-b`参数
感谢对我们项目的关注。 由于我们并没有将训练文本强制转换为简体中文，所以训练语料中可能包含了一部分粤语以及繁体中文数据。 因此，模型可能会具备一小部分粤语和繁体中文的理解能力。但如果想要达到较好的效果，还需要针对性地加入更多的粤语和繁体中文数据进行训练。 虽然我们暂时没有计划在预训练阶段加入更多粤语以及繁体中文数据进行训练，但未来可能会以指令精调的形式增加对上述语言的理解能力。