Chinese-LLaMA-Alpaca
Chinese-LLaMA-Alpaca copied to clipboard
13B,chinese llama lora和alpaca lora的r和lora_alpha
感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。
提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。
详细描述问题
请教一下大佬,13B的chinese llama lora中r是8,alpha为32,但是alpaca lora中r为64, alpha为128。这两个差的还挺大,请问这么做的原因是什么?这两个微调时候的epoch是不是也不一样,还请教下epoch的经验值不知道方不方便告诉下。
运行截图或log
(如有必要)请提供文本log或者运行截图,以便我们更好地了解问题详情。
必查项目
- [ ] 哪个模型的问题:LLaMA / Alpaca (只保留你要问的)
- [ ] 问题类型:(只保留你要问的)
- 下载问题
- 模型转换和合并
- 模型推理问题(🤗 transformers)
- 模型量化和部署问题(llama.cpp、text-generation-webui、LlamaChat)
- 效果问题
- 其他问题
- [ ] 由于相关依赖频繁更新,请确保按照Wiki中的相关步骤执行
- [ ] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索,没有找到相似问题和解决方案
- [ ] 第三方插件问题:例如llama.cpp、text-generation-webui、LlamaChat等,同时建议到对应的项目中查找解决方案