Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

输出内容后面会一直重复

Open happy-zhangbo opened this issue 1 year ago • 7 comments

详细描述问题

请尽量具体地描述您遇到的问题,必要时给出运行命令。这将有助于我们更快速地定位问题所在。

运行截图或日志

请提供文本log或者运行截图,以便我们更好地了解问题详情。 运行命令 image 运行结果 image

必查项目(前三项只保留你要问的)

  • [ ] 基础模型 Alpaca-Plus
  • [ ] 运行系统 Linux
  • [ ] 问题分类:效果问题
  • [x] (必选)由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
  • [x] (必选)我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
  • [x] (必选)第三方插件问题:例如llama.cpptext-generation-webuiLlamaChat等,同时建议到对应的项目中查找解决方案

happy-zhangbo avatar May 19 '23 08:05 happy-zhangbo

这个是因为原版模型的问题吗?我在decapoda-research/llama-7b-hf下载模型;

happy-zhangbo avatar May 19 '23 08:05 happy-zhangbo

哦 对使用text-generation-webui。我按照text-generation-webui这个文档部署的,是需要合并模型吗?

happy-zhangbo avatar May 19 '23 08:05 happy-zhangbo

plus模型需要经过两步合并,还请参考加载Chinese-Alpaca-Plus先合并模型,然后使用webui加载

iMountTai avatar May 19 '23 08:05 iMountTai

plus模型需要经过两步合并,还请参考加载Chinese-Alpaca-Plus先合并模型,然后使用webui加载

ohh 感谢 我试试

happy-zhangbo avatar May 19 '23 08:05 happy-zhangbo

不管用不用plus模型,是都需要进行合并模型嘛~

happy-zhangbo avatar May 19 '23 08:05 happy-zhangbo

不用plus模型,可以通过加载lora和model权重使用,但是速度不如合并权重后的速度。使用plus模型是需要合并权重的,还请参考text-generation-webui using

iMountTai avatar May 19 '23 09:05 iMountTai

不用plus模型,可以通过加载lora和model权重使用,但是速度不如合并权重后的速度。使用plus模型是需要合并权重的,还请参考text-generation-webui using

好的 谢谢

happy-zhangbo avatar May 19 '23 09:05 happy-zhangbo

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

github-actions[bot] avatar May 26 '23 22:05 github-actions[bot]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.

github-actions[bot] avatar May 29 '23 22:05 github-actions[bot]