如何指定的其他新本地数据来增强基础模型？

[ziwang-com]

trafficstars

https://github.com/ggerganov/llama.cpp/discussions/858 如何使用在运行时指定的其他新本地数据来增强基础模型？ #858 古典爵士乐开始了这个对话 一般 如何使用在运行时指定的其他新本地数据来增强基础模型？ #858 @classicjazz 古典爵士乐 on Apr 9 · 3 评论 · 3回复 返回页首 讨论选项

古典爵士乐 on Apr 9 基础模型（例如 LLaMA）仅限于模型发布者在创建模型之前抓取的那些来源。我想通过在运行时手动指定一个包含“权威”数据文件（例如.HTML TXT、PDF、XLS、XML）的目录来增加给定模型的“知识”，然后在呈现指令时将其合并到 AI 的响应中。通过权威，我的意思是，如果指定目录中的数据与模型中预先存在的数据冲突，则赋予它更大的权重/重要性。

例如，发布新产品或发生新闻事件。我手动保存了50个相关的网页，文本文件等。关于该产品或新闻事件到给定的本地目录。然后我想运行 llama.cpp，它输出新闻文章、摘要、关键点、论文、博客文章、诗歌、歌曲等。基于新数据。

我通常运行一个 Bash 脚本来加载骆驼.cpp带有所需的参数。我不确定 llama.cpp 本身是否在目录中加载和处理数据，或者是否有先前的步骤以某种方式修改/向模型添加层，然后由 llama.cpp 调用。

注意：对于这个用例，我设想它是临时的，仅限于本地目录，以实现安全/隐私/有限的长期重用。它应该能够在合理的时间内在消费级硬件（例如Macbook或Mac Studio）上处理新数据。

谢谢

答复：3 评论 · 3回复 注释选项

j-f1 on Apr 9 合作者 这听起来像是一个巨大的挑战——尤其是关于让它将这些信息视为权威的部分。通过使这样的东西在本地运行良好，您将显着推进LLM。

0 回复 注释选项

贝塔狗狗 on Apr 9 目前，执行此操作的最佳方法可能是为您希望模型理解的新数据训练 LoRA.这并不快，但在消费类硬件（24gb vram或更少）上应该是可能的。不过，这可能不是您要找的。

1 回复 @classicjazz 注释选项 古典爵士乐 on Apr 9 作者 这与我的想法相同，作为一个层应用，可能是在调用 llama.cpp 之前作为 Bash 脚本中的一个单独步骤。

我可能不是一个典型的用户，但我有一个具有64GB统一内存的Apple Studio Max作为我的主要工作站。

注释选项

锝1 on Apr 9 https://github.com/lastmile-ai/llama-retrieval-plugin

FNsi reacted with eyes emoji