ChatGPTX-Uni icon indicating copy to clipboard operation
ChatGPTX-Uni copied to clipboard

Published 20 hours ago • verified publisher icon StarRing2022

13b和 6b 特征size都不一样 lora 怎么能复用额

Open Chenzongchao opened this issue 2 years ago • 2 comments

Chenzongchao avatar Apr 12 '23 03:04 Chenzongchao

感谢您的提问，这也曾是之前我们认真思考过的问题。以基础范例来看，LLAMA是7B，ChatGLM是6B，虽然接近，但如果从特征向量来看则完全不同。因而，Lora实际上是一种相对独立的微调模型组件，而非大模型的直接权值，预训练模型及其权值是存放于bin或pth文件之中，即使我们不使用任何Lora等模型，这些预训练模型也是可以正常运行的。我们在此将13B Lora上传。

StarRing2022 avatar Apr 12 '23 14:04 StarRing2022

@StarRing2022 等等，我不确定我理解你回答中的逻辑

yhyu13 avatar Apr 16 '23 12:04 yhyu13