www.ziwang.com
www.ziwang.com
[https://github.com/ggerganov/llama.cpp/issues/382](https://github.com/ggerganov/llama.cpp/issues/382) 添加使用羊驼模型的正确说明 #382 打开 [格尔加诺夫](https://github.com/ggerganov)打开了这个问题 on Mar 22 ·21 评论 评论 @ggerganov 所有者 [格尔加诺夫](https://github.com/ggerganov)评论 [on Mar 22](https://github.com/ggerganov/llama.cpp/issues/382#issue-1635205663) • 所以我正在查看 https://github.com/antimatter15/alpaca.cpp，我看到他们已经运行 30B 羊驼模型，而由于最近的分词器更新，我们正在努力运行 7B。 我还看到这些模型现在甚至漂浮在拥抱脸上 - 我想许可证问题不再是问题？ 我们应该添加获取羊驼模型的详细说明，以及如何使用以下脚本使模型与最新版本兼容的临时说明：master #324 （评论） 更大的问题是人们不断生成旧版本的模型，而不是迁移到最新的更改。因此，我们现在需要这个额外的转换步骤。最好弄清楚生成羊驼模型的步骤并以正确的格式生成它们。ggmlllama.cpp...
[https://github.com/ggerganov/llama.cpp/discussions/323](https://github.com/ggerganov/llama.cpp/discussions/323) 重新生成模型 #323 [普里诺瓦](https://github.com/PriNova)开始了这个对话 一般 [重新生成模型](https://github.com/ggerganov/llama.cpp/discussions/323#top) #323 @PriNova [普里诺瓦](https://github.com/PriNova) on Mar 20 · 3 评论 · 4回复 [返回页首](https://github.com/ggerganov/llama.cpp/discussions/323#top) 讨论选项 [普里诺瓦](https://github.com/PriNova) [on Mar 20](https://github.com/ggerganov/llama.cpp/discussions/323#discussion-4983631) 现在使用合并的 PR https://github.com/ggerganov/llama.cpp/pull/252，我需要重新转换模型。 这是否意味着，我需要重新转换合并.0.pth 的基本模型，或者我也可以重新转换量化模型吗？ 我目前正在使用 7B...
[https://github.com/ggerganov/llama.cpp/discussions/858](https://github.com/ggerganov/llama.cpp/discussions/858) 如何使用在运行时指定的其他新本地数据来增强基础模型？ #858 [古典爵士乐](https://github.com/classicjazz)开始了这个对话 一般 [如何使用在运行时指定的其他新本地数据来增强基础模型？](https://github.com/ggerganov/llama.cpp/discussions/858#top) #858 @classicjazz [古典爵士乐](https://github.com/classicjazz) on Apr 9 · 3 评论 · 3回复 [返回页首](https://github.com/ggerganov/llama.cpp/discussions/858#top) 讨论选项 [古典爵士乐](https://github.com/classicjazz) [on Apr 9](https://github.com/ggerganov/llama.cpp/discussions/858#discussion-5059904) 基础模型（例如 LLaMA）仅限于模型发布者在创建模型之前抓取的那些来源。我想通过在运行时手动指定一个包含“权威”数据文件（例如.HTML TXT、PDF、XLS、XML）的目录来增加给定模型的“知识”，然后在呈现指令时将其合并到 AI 的响应中。通过权威，我的意思是，如果指定目录中的数据与模型中预先存在的数据冲突，则赋予它更大的权重/重要性。 例如，发布新产品或发生新闻事件。我手动保存了50个相关的网页，文本文件等。关于该产品或新闻事件到给定的本地目录。然后我想运行 llama.cpp，它输出新闻文章、摘要、关键点、论文、博客文章、诗歌、歌曲等。基于新数据。...
[https://github.com/ggerganov/llama.cpp/issues/1449](https://github.com/ggerganov/llama.cpp/issues/1449) 如何在合并 Lora 的情况下输出 ggml 文件？#1449 打开 [FNsi](https://github.com/FNsi) 打开了本期 五月 last week ·3 评论 打开 [如何在合并 Lora 的情况下输出 ggml 文件？](https://github.com/ggerganov/llama.cpp/issues/1449#top) #1449 [FNsi](https://github.com/FNsi) 打开了本期 五月 last week ·3 评论 评论 @[FNsi](https://github.com/FNsi)...
[https://github.com/ggerganov/llama.cpp/issues/1400](https://github.com/ggerganov/llama.cpp/issues/1400) [功能要求]使模型组合成为可能（长镜头！#1400 打开 [skidd-level-100](https://github.com/skidd-level-100) 打开了本期 五月 last week ·2 评论 打开 [[功能要求]使模型组合成为可能（长镜头！](https://github.com/ggerganov/llama.cpp/issues/1400#top) #1400 [skidd-level-100](https://github.com/skidd-level-100) 打开了本期 五月 last week ·2 评论 评论 @skidd级-100 [skidd-level-100](https://github.com/skidd-level-100) 评论 [last week](https://github.com/ggerganov/llama.cpp/issues/1400#issue-1704816788) 我很想看到模型组合工具！那就太棒了！我们有 loras，这很棒，但成熟的组合会更好！ FNsi和Pannous用竖起大拇指的表情符号做出反应 @SlyEcho...
[https://github.com/ggerganov/llama.cpp/pull/820](https://github.com/ggerganov/llama.cpp/pull/820) 添加 LoRA 支持 #820 [斯拉伦](https://github.com/slaren)评论 [on Apr 7](https://github.com/ggerganov/llama.cpp/pull/820#issue-1658083988) • 动态应用 LoRA 适配器，而无需复制模型文件. 指示： 获取 HF PEFT LoRA 文件和 LoRA 适配器，并将它们放在相同的路径中.对于羊驼，可以在 https://huggingface.co/tloen/alpaca-lora-7b/tree/mainadapter_config.jsonadapter_model.bin 使用进行转换以获得convert-lora-to-ggml.pyggml-adapter-model.bin python convert-lora-to-ggml.py lora/alpaca-lora-7b 使用 与ggml-adapter-model.bin--lora ./main -m...
[https://github.com/huggingface/peft/issues/312](https://github.com/huggingface/peft/issues/312) 它很简单，使用低[秩近似](https://en.wikipedia.org/wiki/Low-rank_approximation)，[低秩矩阵分解](https://www.sciencedirect.com/science/article/abs/pii/S0925231217315710#:~:text=The%20purpose%20of%20low%2Drank,the%20interactions%20between%20two%20entries.)。 给定模型及其微调，以及目标排名，提取模型权重中每个差异的“最佳”低秩近似值，并导出为 LoRA。 参数可以是常数，也可以是每个矩阵的唯一，例如为 总结一下，给定找到 每个都有行使得规范 最小化。 这绝对很有趣。想知道梯度方法、进化算法或普通的线性代数范数（光谱等）和因式分解是否是解决这个问题的理想选择。 题外话：我想知道从权重到 lora 权重是否会有明确的梯度路径？我在微积分方面不够流利，但假设因式分解可能无法微分。在这种情况下，这可能是另一种操作， 其中不是向后传播梯度，而是可以使用另一个信号从非 lora 权重达到 lora 权重.
[https://github.com/ggerganov/llama.cpp/issues/964](https://github.com/ggerganov/llama.cpp/issues/964) 以下是 LoRA 的一些未决问题： 基本实现 （https://github.com/ggerganov/llama.cpp/pull/820) 使用 SIMD （AVX， AVX2） 缩短 LoRA 应用时间 （https://github.com/ggerganov/llama.cpp/issues/956) 在基本模型上使用 MMAP 缩短 LoRA 加载时间 量化已应用 LoRA 的 MMAPed float16 基本模型 权重插值（从 1 开始，查看多个）（https://github.com/ggerganov/llama.cpp/issues/905) 将加载的模型导出到二进制文件（在带有LoRA（标志）的CLI中独立;交互式（？））(--export-lorahttps://github.com/ggerganov/llama.cpp/issues/904) 研究为任意模型提取...
[https://github.com/serp-ai/LLaMA-8bit-LoRA](https://github.com/serp-ai/LLaMA-8bit-LoRA) 8位LoRA 用于在 HuggingFace 上训练 LLaMA 模型的 LoRA 的存储库 8 位量化.仅研究。
[https://github.com/A-baoYang/alpaca-7b-chinese](https://github.com/A-baoYang/alpaca-7b-chinese) 🦙🧋🇹🇼使用中文指令数据集微调LLaMA-7B 有关LLM的更多微调方法，请参阅[LLM-微调指南](https://github.com/A-baoYang/LLM-Finetune-Guide) 这个存储库是用中文数据集微调LLaMA-7B的教程！我调查并结合数据集和方法，以微调我自己的LLM用于复杂的NLP任务，如摘要，问答，文本生成，自定义数据增强等。 由于最初的斯坦福 Alpaca-7B 微调需要大量 GPU 资源，因此我专注于研究低 GPU 消耗的方法。