zero-lora icon indicating copy to clipboard operation
zero-lora copied to clipboard

以交互方式将加载的模型导出到二进制文件

Open ziwang-com opened this issue 2 years ago • 1 comments

https://github.com/ggerganov/llama.cpp/issues/904 对于 https://github.com/ggerganov/llama.cpp/pull/820,加载的模型可能与基本模型不同。能够以交互方式将当前加载的模型导出到 binfile 是有意义的。

特别是如果允许线性插值多个 LoRA 文件的选项 - 即 LoRA 调酒学以获得独特的 LLM 个性.

@MillionthOdin16 百万之奥丁16评论 on Apr 12 如果您熟悉 loras 的混合,我认为如果您可以在上面链接一些资源,这对这里的很多人都会有所帮助。我听说你可以做一些很酷的事情,但我不是很熟悉。

@jon创 贡献 作者 钟创评论 on Apr 12 • 我不是那么熟悉,它只是我突然想到了一种可能性。

基本模型和 LoRA 之间的线性插值已经是一个标准功能: https://huggingface.co/docs/diffusers/main/en/training/lora

Anw,线性插值在这里跟踪:https://github.com/ggerganov/llama.cpp/issues/905

此问题是关于将加载(和修改,例如微调)模型导出到 binfile。

ziwang-com avatar May 20 '23 02:05 ziwang-com

Hey Ziwanag! I really think that this is a good idea. I'm going to corral some folks (and myself) to prototype this under https://github.com/ggerganov/llama.cpp/issues/905

yacineMTB avatar Jun 13 '23 20:06 yacineMTB