可直接使用的 13b-plus 4bit 量化模型下载

[johnlui]

下载仓库地址：https://huggingface.co/johnlui/chinese-alpaca-13b-plus-quantized

移动本仓库中的 alpaca-13b-plus 文件夹到你项目的./models文件下即可。该文件夹同时适用于llama.cpp和text-generation-webui。

使用体验

效果确实比 13b 好了不少，能写出比较长的文字了，速度没有明显变化，本模型运行时需要 9.2GB 内存，未进行格式转换和量化时需要 50GB 内存，太吓人了，速度还只有十分之一。

[binganao]

感谢您的工作，另外，可以直接对 13b-plus 4bit 直接进行 lora 训练吗

[johnlui]

@binganao 不行，用我仓库中标记的原始仓库里面的模型可以继续训练

[johnlui]

确实，我的还是老版本😂

[GuoChang2032]

我web-ui直接启动的时候报如下错误 启动命令：python server.py --model chinese-alpaca-13b-plus-quantized --cpu

[ttimasdf]

我做了一个GPTQ的，效果一般

[pengwork]

@johnlui 感谢大佬的合并，尝试了下，报错无法加载模型。 用的是 llama.cpp的方案，这个教程， 把里面zh_models/ 文件夹换成您合并的模型，大佬是这样搞的么？还是我弄错了啊？

[1anglesmith1]

你直接放在zh_models/文件夹中可以直接使用吗？我也想问一下

[pengwork]

@1anglesmith1 不可以啊。。。 不知道为啥，还没排出来问题，正在尝试自己合并下看看。。

[1anglesmith1]

@1anglesmith1 不可以啊。。。 不知道为啥，还没排出来问题，正在尝试自己合并下看看。。

好的，我稍后也尝试一下，你知道怎么调用llama已合并的模型的api进行问答吗？

[johnlui]

@alei76 @GuoChang2032 @pengwork @1anglesmith1 文件已经更新到最新的 v3 格式，可以正常使用了

[1anglesmith1]

@alei76 @GuoChang2032 @pengwork @1anglesmith1 文件已经更新到最新的 v3 格式，可以正常使用了

请问大佬，我如果想使用程序获取这个模型的api进行问答该怎么做，可以输入从本地的文件中读取问题让模型作答并返回结果。这一步您知道怎么进行吗？

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[johnlui]

@1anglesmith1 https://github.com/oobabooga/text-generation-webui 这个项目有 http api

[RickyWang111]

爱了爱了，谢谢大佬！

[github-actions[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions[bot]]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.