我合并+量化了 7B 和 13B 的模型提供给大家下载，并写了使用方法

[johnlui]

其实合并和量化都很简单，也很快，但是没人写文档说怎么用😂

下载仓库地址：https://huggingface.co/johnlui/chinese-alpaca-7b-and-13b-quantized

移动本仓库中的llama-7b-hf和llama-13b-hf两个文件夹，到你项目的./models文件下即可。该文件夹同时适用于llama.cpp和text-generation-webui。

[honglvagan]

谢谢哥,我部署了好多次都没成,今天突然用 llama.cpp 弄好了,我再看看是哪里合并异常

[PetitPrinceb612]

感谢

[holycrypto]

谢谢大佬，可以用了。

[mcu13321]

感谢大佬

[mcu13321]

13B模型，看着不太聪明的样子

[honglvagan]

13B模型，看着不太聪明的样子

单看这一段,他说的一点也不错啊

[mcu13321]

13B模型，看着不太聪明的样子

单看这一段,他说的一点也不错啊

那这个呢🤔

[ymcui]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

[honglvagan]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

哥,会不会和运行 ./main 的参数有关?我一开始直接用示例的参数,他还是只说英文,我把参数调大他才开始说中文的,我现在用的 ./main -m models/llama-13b-hf/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 1 -n 2048 -t 8 --repeat_penalty 1.3 运行

[ymcui]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

哥,会不会和运行 ./main 的参数有关?我一开始直接用示例的参数,他还是只说英文,我把参数调大他才开始说中文的,我现在用的 ./main -m models/llama-13b-hf/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 1 -n 2048 -t 8 --repeat_penalty 1.3 运行

我确认一下，你用的是llama还是alpaca？llama的话一般是用来做续写的，alpaca是用来指令理解（交互）的。 具体你看一下这里：这里

[norris9410]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

哥,会不会和运行 ./main 的参数有关?我一开始直接用示例的参数,他还是只说英文,我把参数调大他才开始说中文的,我现在用的 ./main -m models/llama-13b-hf/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 1 -n 2048 -t 8 --repeat_penalty 1.3 运行

我确认一下，你用的是llama还是alpaca？llama的话一般是用来做续写的，alpaca是用来指令理解（交互）的。 具体你看一下这里：这里

你好！那比如就是“如何快速睡眠”这个中文，请问我应该用llama做好还是alpaca做？

[iMountTai]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

哥,会不会和运行 ./main 的参数有关?我一开始直接用示例的参数,他还是只说英文,我把参数调大他才开始说中文的,我现在用的 ./main -m models/llama-13b-hf/ggml-model-q4_0.bin --color -f prompts/alpaca.txt -ins -c 2048 --temp 1 -n 2048 -t 8 --repeat_penalty 1.3 运行

我确认一下，你用的是llama还是alpaca？llama的话一般是用来做续写的，alpaca是用来指令理解（交互）的。 具体你看一下这里：这里

你好！那比如就是“如何快速睡眠”这个中文，请问我应该用llama做好还是alpaca做？

alpaca

[minlik]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

这个13B的模型跟7B的相比，效果比较差。是merge的时候出了问题吗？有办法验证最终合成的模型是否有问题吗？

我可以再重新合一下模型试试效果。

[johnlui]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

这个13B的模型跟7B的相比，效果比较差。是merge的时候出了问题吗？有办法验证最终合成的模型是否有问题吗？

我可以再重新合一下模型试试效果。

13B确实比7B效果差，不用怀疑自己，就用7B吧

[BoyuGuan]

@mcu13321 你测试的输出似乎不是很对劲，有可能模型不完整。😂

这个13B的模型跟7B的相比，效果比较差。是merge的时候出了问题吗？有办法验证最终合成的模型是否有问题吗？ 我可以再重新合一下模型试试效果。

13B确实比7B效果差，不用怀疑自己，就用7B吧

请问这是什么原因呢？根据作者的测试来看，13B应该比7B好一些才对呀。

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[johnlui]

@mcu13321 @BoyuGuan 我前几天更新了 13b 的 config.json 文件，昨天我测试了 13B 模型，发现它的效果确实是比 7B 要好的。在润色文本场景下，Kobold-Liminal Drift 效果最佳。你们可以试试更新我仓库里 13b 文件夹下的 config.json 文件，再用 Kobold-Liminal Drift 测试一下，相信会得到一个好的结果

[regaliastar]

感谢🙏

[brealisty]

@mcu13321 @BoyuGuan 我前几天更新了 13b 的 config.json 文件，昨天我测试了 13B 模型，发现它的效果确实是比 7B 要好的。在润色文本场景下，Kobold-Liminal Drift 效果最佳。你们可以试试更新我仓库里 13b 文件夹下的 config.json 文件，再用 Kobold-Liminal Drift 测试一下，相信会得到一个好的结果 @johnlui 楼主13b，会出现惜字如金的情况，我测试的7b 4-bit的模型，输出很短，即便提示它输出长一些也不行

[wood911]

不同的答案跟量化模型有关，模型越大回答越详细准确

[prettyboyweiwei]

请问合并的是 Alpaca 7B plus 版吗

[prettyboyweiwei]

刚试了下应该是 7B 普通版？

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.