Yiming Cui comments

Results 165 comments of


                                            Yiming Cui

有人量化了13B模型可以提供下载链接的吗

尝试过选择TPU也随机不出35G内存的机器吗？

指令精调的脚本scripts/run_clm_sft_with_peft.py 说明中有这个文件，但是项目里没有这个文件

是，因为我们还没整理完，晚些时候再来😂

指令精调的脚本scripts/run_clm_sft_with_peft.py 说明中有这个文件，但是项目里没有这个文件

还没做review，愿意尝鲜的话可以参考我们的PR（晚些时候会合并到main）：https://github.com/ymcui/Chinese-LLaMA-Alpaca/pull/322

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

什么模型，怎么合并的？

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

因为你合并的不对啊😂，Alpaca-Plus需要同时传入LLaMA-Plus-LoRA和Alpaca-Plus-LoRA合并才可以。仔细看一下Wiki：https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/手动模型合并与转换#多lora权重合并适用于chinese-alpaca-plus

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

Alpaca建议使用交互instruction模式，另外要load对应的模板，例如： ``` ./main -m zh-alpaca-models/7B/ggml-model-q4_0.bin --color -f ./prompts/alpaca.txt -ins -b 16 -c 512 ```

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

以下是Alpaca-Plus-7B量化后的q8_0以及f16的SHA256，你可以对比一下。 ``` ff1b113ff835516e475363b019a2c7a7c63f27abbe56c89aad3ec18c1bbf53db ggml-model-f16.bin 0eec8927427f159397c79961a28d62d78849514a4a19033b247edd6ac3fc2cfd ggml-model-q8_0.bin ```

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

看你的路径应该是windows系统？也不排除是win下特定的问题，你看一下FAQ里关于win的信息。另外，你要判断一下是只有这一个模型这样还是说其他模型（比如Alpaca-7B基础版）也是这样？

合并完模型，生成 q8_0 文件，生成一直输出井号 # 是咋回事？

1、如果上述4个模型都无效，那多半是llama.cpp与你的环境不适配 2、可以将最原始的llama-7b转换为llama.cpp的ggml格式，输入一些常用的prompt试一下 3、另外可以尝试使用gitbash，有些人推荐在win下使用这个

windows模型合并assert not torch.allclose(first_weight_old, first_weight)

没看到最下面报错的地方，麻烦把最后的log贴一下。另外看到peft版本0.1.0，可能会有问题，建议0.2.0。