zhangbo
zhangbo
这个是因为原版模型的问题吗？我在decapoda-research/llama-7b-hf下载模型；
哦 对使用text-generation-webui。我按照[text-generation-webui](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E4%BD%BF%E7%94%A8text-generation-webui%E6%90%AD%E5%BB%BA%E7%95%8C%E9%9D%A2)这个文档部署的，是需要合并模型吗？
> plus模型需要经过两步合并，还请参考[加载Chinese-Alpaca-Plus](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/%E4%BD%BF%E7%94%A8Transformers%E6%8E%A8%E7%90%86#%E5%8A%A0%E8%BD%BDchinese-alpaca-plus)先合并模型，然后使用webui加载 ohh 感谢 我试试
> 不管用不用plus模型，是都需要进行合并模型嘛~
> 不用plus模型，可以通过加载lora和model权重使用，但是速度不如合并权重后的速度。使用plus模型是需要合并权重的，还请参考[text-generation-webui using](https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/text-generation-webui) 好的 谢谢
[运行截图](https://imgloc.com/i/VfwyRp)
我参考了https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/main/notebooks/convert_and_quantize_chinese_llama.ipynb
他已经好了，虽然还是在cpu上运行，但在回答一直在重复....这可能和参数有关，  使用其他的[text-generation-webui](https://github.com/oobabooga/text-generation-webui)部署方式.也是在cpu上运行吗？ 或者说有使用gpu的方式在本地运行嘛？
好的 谢谢~