重新转换量化羊驼lora模型

[ziwang-com]

https://github.com/ggerganov/llama.cpp/discussions/323 重新生成模型 #323 普里诺瓦开始了这个对话 一般 重新生成模型 #323 @PriNova 普里诺瓦 on Mar 20 · 3 评论 · 4回复 返回页首 讨论选项

普里诺瓦 on Mar 20 现在使用合并的 PR https://github.com/ggerganov/llama.cpp/pull/252，我需要重新转换模型。 这是否意味着，我需要重新转换合并.0.pth 的基本模型，或者我也可以重新转换量化模型吗？

我目前正在使用 7B 羊驼 Lora 4bit 和 13B 羊驼 lora 型号 4bit，并希望继续使用它. 我没有资源来：

再次微调模型以与美洲驼一起使用.cpp 我也没有资源来量化大模型。 如果我能重新转换我的量化羊驼劳拉模型将是惊人的. 如果没有，这将是一个重大变化（因为数字nomade通常减慢wifi和有限的资源）

当有人可以澄清时，这将是惊人的。

谢谢

答复：3 评论 · 4回复 注释选项

j-f1 on Mar 20 合作者 您需要从 开始，然后转换为 GGML，然后再次量化生成的文件。.pth

1 回复 @PriNova 注释选项 普里诺瓦 on Mar 20 作者 好的， 这对我来说是一个重大变化， 因为我无法为 LoRa 训练.

与其将分词器分数存储到模型中，不如将分数存储在单独的文件中更有意义吗？ 然后，该模型可以按原样使用，并且与令牌词汇分数没有直接依赖关系。

注释选项

鹦鹉螺 on Mar 20 @eiz制作了一个脚本，通过在标记器中与其权重合并来修补 ggml 模型：#324（评论）

3回复 @PriNova 注释选项 普里诺瓦 on Mar 20 作者 谢谢，我找到了它，它工作得很好

@j-f1 注释选项 j-f1 on Mar 21 合作者 请注意，我们将很快更新模型格式以允许即时加载，这将需要再次从文件重新生成（尽管不需要重新训练任何内容）。.pth

@PriNova 注释选项 普里诺瓦 on Mar 21 作者 请注意，我们将很快更新模型格式以允许即时加载，这将需要再次从文件重新生成（尽管不需要重新训练任何内容）。.pth

我是否正确理解它，它也适用于预训练的模型？

J-f1和Wingie用竖起大拇指的表情符号做出反应 注释选项

普里诺瓦 on Mar 21 作者 这是我在#324中发布的两个文件进行比较。

令牌.txt 令牌量刑件.txt

0回复