Chinese-LLaMA-Alpaca icon indicating copy to clipboard operation
Chinese-LLaMA-Alpaca copied to clipboard

13B,chinese llama lora和alpaca lora的r和lora_alpha

Open heshuguo opened this issue 1 year ago • 0 comments

感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。

提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。

详细描述问题

请教一下大佬,13B的chinese llama lora中r是8,alpha为32,但是alpaca lora中r为64, alpha为128。这两个差的还挺大,请问这么做的原因是什么?这两个微调时候的epoch是不是也不一样,还请教下epoch的经验值不知道方不方便告诉下。

运行截图或log

(如有必要)请提供文本log或者运行截图,以便我们更好地了解问题详情。

必查项目

  • [ ] 哪个模型的问题:LLaMA / Alpaca (只保留你要问的)
  • [ ] 问题类型:(只保留你要问的)
    • 下载问题
    • 模型转换和合并
    • 模型推理问题(🤗 transformers)
    • 模型量化和部署问题(llama.cpp、text-generation-webui、LlamaChat)
    • 效果问题
    • 其他问题
  • [ ] 由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
  • [ ] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
  • [ ] 第三方插件问题:例如llama.cpptext-generation-webuiLlamaChat等,同时建议到对应的项目中查找解决方案

heshuguo avatar May 10 '23 06:05 heshuguo