Yiming Cui
Yiming Cui
整个词表都是参与训练的，并不只是训新加的部分。 另外，现在这个时间节点下，我们不建议使用两阶段的预训练方法了。 具体见：https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/预训练脚本
我们没有尝试过。原有的32k词表是包含极少量的中文token的，如果只训练新加的词表可能会有一些影响。 具体效果也不太好直接判断，还是需要严谨的实验核实（也不排除会像你说的一样冻结32k词表效果更好）。
V100，16G吗？那大概是不够的。8bit下单独加载模型就需要至少15G，就更别说包含其他训练需要存储的状态/梯度了。 参考：https://github.com/ymcui/Chinese-LLaMA-Alpaca#脚注及其他说明
是空间大小，但是显存也是可以通过这个表做一个粗略的估计。32G看起来应该是可以训练的，不过可能要找到合适的超参。 其余的就得自己想办法降显存占用了，可以参考transformers库的一些通用降显存的方法，或者deepspeed上zero3。
CPU精调目前只存在理论可能，但实际上基本不可行。 llama.cpp那边似乎在考虑把CPU精调功能加入，但目前没有什么明确进展。
嗯，有的时候是会这样，回车一下有时会解决。 另外，看你的log应该是上一版的llama.cpp，可以pull一下最新版重新编译试试，个人感觉启动比之前一版流畅一些。
> 我尝试了一下，速度还是很慢，请问程序是不是没有调用我的显卡，导致速度慢呢 llama.cpp不会调用GPU。如果是mac M系列芯片会比较快。 另外可以通过增加-b（batch size）和-t（线程数）来提速（实测不是很明显）。
教程：https://github.com/ymcui/Chinese-LLaMA-Alpaca-3/wiki/openai_api_zh
评测脚本不一致导致的，我们用的本仓库里的代码跑的。
适配llama3的精调工具都可以用。我们的脚本最快下周，或者你拿我们二代的脚本稍加改动就能用了。