Yiming Cui
Yiming Cui
> > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp量化部署#step-2-生成量化版本模型 ``` python convert.py zh-models/7B/ --dump ``` 运行之后会输出所有权重的大小，你运行完直接把日志复制贴到这里
> > > > llama.cpp的convert.py脚本有一个参数--dump，你运行一下，看看.pth文件里的embedding/lm_head大小是什么。 > > > > > > > > > 没找到，方便加个微信不？我是外行，能力有限，我的微信号是：17600801286，谢谢 > > > > > > [https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp量化部署#step-2-生成量化版本模型](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/llama.cpp%E9%87%8F%E5%8C%96%E9%83%A8%E7%BD%B2#step-2-%E7%94%9F%E6%88%90%E9%87%8F%E5%8C%96%E7%89%88%E6%9C%AC%E6%A8%A1%E5%9E%8B) > > ``` > > python convert.py zh-models/7B/...
建议你参考其他llama API化的项目（github自行查找）。 我们的模型合并转换之后，原则上与原版llama没什么区别了（除了词表大小不一样）。
见https://github.com/ymcui/Chinese-LLaMA-Alpaca/issues/125
不太清楚你说的网盘具体指的是哪个链接。我们现在给出的只有LoRA权重（百度网盘、Google Drive、HuggingFace模型库）。
> 这样大家就不用每次都那么麻烦去转换，把使用的门槛降低，这样不是很好吗？ 这个问题我们已经阐述过理由了，并不是为了让大家瞎忙活，具体见[FAQ#1](https://github.com/ymcui/Chinese-LLaMA-Alpaca#问题1为什么不能放出完整版本权重)
从你的log中看似是把GPU也用上了。 转13B模型（使用offload）的话RAM需要26-27G（也就是模型本身大小）。 我们的colab notebook转换是没出现这个问题的，不知道是不是你的机器可用内存不够导致的。
这种自动被kill的多半是内存不够导致的