有没有合并后的模型下载链接，合并模型要25G内存，一般PC都打不到要求

[wood911]

LLaMA-7B & Chinese-LLaMA-Plus-7B 由于模型不能单独使用，有没有合并后的模型下载链接，合并模型要25G内存，一般PC都打不到要求

[honglvagan]

确实..也给我整一个/(ㄒoㄒ)/~~

[stackvoid]

+1

[Mabbs]

自己去用colab啊，开一个25G的机器又不难，多试几次就有了

[wood911]

自己去用colab啊，开一个25G的机器又不难，多试几次就有了 25G的机器确实不难，因为是公用的任务跑到一半可能被分配给其他人了，好不容易转完了，下载文件就中断了机器又被分配了，翻墙下载十几G的文件梯子IP就封了

[wood911]

自己去用colab啊，开一个25G的机器又不难，多试几次就有了 25G的机器确实不难，因为是公用的任务跑到一半可能被分配给其他人了，好不容易转完了，下载文件就中断了机器又被分配了，翻墙下载十几G的文件梯子IP就封了

[wood911]

Macmini M1 16G 可以转制，本来想上传 huggingface.co 总是上传不上去，第二天huggingface被墙了

[honglvagan]

Macmini M1 16G 可以转制，本来想上传 huggingface.co 总是上传不上去，第二天huggingface被墙了

25g内存,但没有显卡,Ubuntu 20.04 自带 python 3.8 版本,我又下了个 python3,10,然后 python3.10 -m pip install 下载了一堆包,结果试了几次不是这里错就是那里错,好像python版本和pip install 的包们版本之间没对上,请问需要哪些包,能具体发下吗?我再试试

[Mabbs]

自己去用colab啊，开一个25G的机器又不难，多试几次就有了 25G的机器确实不难，因为是公用的任务跑到一半可能被分配给其他人了，好不容易转完了，下载文件就中断了机器又被分配了，翻墙下载十几G的文件梯子IP就封了

我试了一下15分钟左右就转完了啊，要下载先转到谷歌云盘之后再下载啊，直接下速度慢肯定会被回收啊

[fengmy]

Chinese-Alpaca-Plus-7B

[honglvagan]

Chinese-Alpaca-Plus-7B

哥,我把这个下了,请问这个接下来该怎么处理?才能在 llama.cpp 项目用?我放 models 下面没跑起来

./main -m models/llama-chinese-7B/pytorch_model-00001-of-00002.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3

main: build = 526 (e6a46b0) main: seed = 1683721760 llama.cpp: loading model from models/llama-chinese-7B/pytorch_model-00001-of-00002.bin error loading model: unknown (magic, version) combination: 04034b50, 08080000; is this really a GGML file? llama_init_from_file: failed to load model llama_init_from_gpt_params: error: failed to load model 'models/llama-chinese-7B/pytorch_model-00001-of-00002.bin' main: error: unable to load model

[Mabbs]

Chinese-Alpaca-Plus-7B

哥,我把这个下了,请问这个接下来该怎么处理?才能在 llama.cpp 项目用?我放 models 下面没跑起来

./main -m models/llama-chinese-7B/pytorch_model-00001-of-00002.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.3

main: build = 526 (e6a46b0) main: seed = 1683721760 llama.cpp: loading model from models/llama-chinese-7B/pytorch_model-00001-of-00002.bin error loading model: unknown (magic, version) combination: 04034b50, 08080000; is this really a GGML file? llama_init_from_file: failed to load model llama_init_from_gpt_params: error: failed to load model 'models/llama-chinese-7B/pytorch_model-00001-of-00002.bin' main: error: unable to load model

必须转成ggml格式后才能用

[mingxing0769]

16G 老电脑 没问题 --offload_dir ./offload_temp

[doublnt]

应该只要16g吧，我本地电脑转换大概10分钟不到就转好了。

[done434]

@Mabbs 我自己转换了一遍，也是同样的错误，中间已经转换成 ggml 格式了。这是我的步骤：

1. 使用本项目的 python scripts/merge_llama_with_chinese_lora.py 这段脚本进行模型合并，并保存为 pth 格式
2. 使用 lamma.cpp 的 python3 convert.py 来转换模型为 ggml 格式
3. 使用 lamma.cpp 的 ./quantize 将模型量化为 4-bit (q4_0)
4. 使用 lamma.cpp 的 ./main 来加载运行，报错：和上面的基本一样，认为不是一个 GGML 文件

llama.cpp: loading model from ../ggml-alpaca13b-q5_1.bin error loading model: unknown (magic, version) combination: 67676a74, 00000002; is this really a GGML file? llama_init_from_file: failed to load model llama_init_from_gpt_params: error: failed to load model '../ggml-alpaca13b-q5_1.bin' main: error: unable to load model

[done434]

@Mabbs 我自己转换了一遍，也是同样的错误，中间已经转换成 ggml 格式了。这是我的步骤：

1. 使用本项目的 python scripts/merge_llama_with_chinese_lora.py 这段脚本进行模型合并，并保存为 pth 格式
2. 使用 lamma.cpp 的 python3 convert.py 来转换模型为 ggml 格式
3. 使用 lamma.cpp 的 ./quantize 将模型量化为 4-bit (q4_0)
4. 使用 lamma.cpp 的 ./main 来加载运行，报错：和上面的基本一样，认为不是一个 GGML 文件

llama.cpp: loading model from ../ggml-alpaca13b-q5_1.bin error loading model: unknown (magic, version) combination: 67676a74, 00000002; is this really a GGML file? llama_init_from_file: failed to load model llama_init_from_gpt_params: error: failed to load model '../ggml-alpaca13b-q5_1.bin' main: error: unable to load model

我已经解决了这个问题，问题是出在第二步：python3 convert.py

按照文档里说的是有问题的：python convert.py zh-models/7B/

因为 Chinese LLaMA alpaca 项目修改了原来 LLaMA 的 vocab，增加了不少中文字符进去，所以转换的时候必须要指定 tokenizer.model 所在的路径才行。

我改成这样就可以了（tokenizer.model 在 zh-models 目录下）： python convert.py zh-models/7B/ --vocab-dir zh-models

这是这个参数的详细介绍（建议可以查看一下 llama.cpp 项目中 convert.py 的源代码）： "--vocab-dir", type=Path, help="directory containing tokenizer.model, if separate from model file"

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.