lora使模型组合成为可能

[ziwang-com]

trafficstars

https://github.com/ggerganov/llama.cpp/issues/1400 [功能要求]使模型组合成为可能（长镜头！#1400 打开 skidd-level-100 打开了本期 五月 last week ·2 评论 打开 [功能要求]使模型组合成为可能（长镜头！ #1400 skidd-level-100 打开了本期 五月 last week ·2 评论 评论 @skidd级-100 skidd-level-100 评论 last week 我很想看到模型组合工具！那就太棒了！我们有 loras，这很棒，但成熟的组合会更好！

FNsi和Pannous用竖起大拇指的表情符号做出反应 @SlyEcho 合作者 SlyEcho 评论 last week 模型组合如何工作？

您是否有一些论文可以链接到以便我理解？

@FNsi FNsi 评论 last week • 模型组合如何工作？

您是否有一些论文可以链接到以便我理解？

我认为他的意思是将多个 lora 权重合并到美洲驼？例如，同时合并巫师骆马和星码。

我确实发现它可能有效，但需要一些时间。 第一convert_llama_weights_to_hf 第二次将 hf 与 lora 合并为 pth 第三 convert-pth-to-ggml.py

如果你想转换30B，需要100G +内存，那就太可悲了。

所以只有一种方法...从 llama .cpp运行时复制合并的权重😂