Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

Web界面对Alpaca plug 7b 推理异常

Open jazzlee008 opened this issue 2 years ago • 1 comments

感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。

提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。

详细描述问题

请尽量具体地描述您遇到的问题。这将有助于我们更快速地定位问题所在。 web界面可以启动,但是推理的时候答非所问。 使用的是python server.py --model llama-7b-hf --lora chinese_alpaca_plus_lora_7b CLI里显示的token生成都很正常

运行截图或log

屏幕截图 2023-05-08 212102

(如有必要)请提供文本log或者运行截图,以便我们更好地了解问题详情。

必查项目

  • [x] 哪个模型的问题:Alpaca (只保留你要问的)
  • [x] 问题类型:(只保留你要问的)
    • 效果问题
  • [ ] 由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
  • [ ] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
  • [ ] 第三方插件问题:例如llama.cpptext-generation-webuiLlamaChat等,同时建议到对应的项目中查找解决方案

jazzlee008 avatar May 08 '23 13:05 jazzlee008

alpaca-plus模型的使用方式有些变化。 请先把lora权重合并进llama-7b,之后--model指定 合并后的model,而不再单独使用lora权重。 合并过程见 https://github.com/ymcui/Chinese-LLaMA-Alpaca/wiki/手动模型合并与转换 中的多LoRA权重合并一段

airaria avatar May 08 '23 14:05 airaria

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

github-actions[bot] avatar May 15 '23 22:05 github-actions[bot]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.

github-actions[bot] avatar May 18 '23 22:05 github-actions[bot]