zero-lora
zero-lora copied to clipboard
ziwang-com
zero零训练llm调参
[https://github.com/ggerganov/llama.cpp/issues/904](https://github.com/ggerganov/llama.cpp/issues/904) 以交互方式将加载的模型导出到二进制文件 #904 打开 [Jon-Chuang](https://github.com/jon-chuang) 打开了本期 on Apr 12 ·2 评论 评论 @jon创 贡献 [钟创](https://github.com/jon-chuang)评论 [on Apr 12](https://github.com/ggerganov/llama.cpp/issues/904#issue-1663621388) • 对于 https://github.com/ggerganov/llama.cpp/pull/820，加载的模型可能与基本模型不同。能够以交互方式将当前加载的模型导出到 binfile 是有意义的。 特别是如果允许线性插值多个 LoRA 文件的选项 - 即 LoRA 调酒学以获得独特的...
[https://github.com/ggerganov/llama.cpp/pull/996](https://github.com/ggerganov/llama.cpp/pull/996) 将暂时停止这里的调查。应用 LoRA 所需的时间对于这些更改是可以忍受的. 我们离最佳状态还很远;例如，我在高 K （K=10000） 的矩阵上看到 250KFLOPs/us。 LoRA 应用程序非正式基准测试： K=16 AVX2 - 5141.57 ms AVX - 9831.28 ms default - 22611.96 ms 不，又高又瘦的样子： __ | | ___________ |...
[https://github.com/kojima-takeshi188/zero_shot_cot](https://github.com/kojima-takeshi188/zero_shot_cot) LLM模型Zero-Shot Reasoners 这是（在 NeurIPS 2022 上接受）的官方实现。Large Language Models are Zero-Shot Reasoners 该论文可在[NeurIPS 2022](https://proceedings.neurips.cc/paper_files/paper/2022/hash/8bb0d291acd4acf06ef112099c16f326-Abstract-Conference.html)和[arXiv](https://arxiv.org/abs/2205.11916)上获得。
[https://github.com/MBZUAI-nlp/Bactrian-X](https://github.com/MBZUAI-nlp/Bactrian-X) MBZUAI Bactrian-X一种多语言可复制的指令遵循模型 Bactrian-X 数据集包含 52 种语言的 3.4M 对指令和响应。指令是从[alpaca-52k](https://github.com/tatsu-lab/stanford_alpaca)和[dolly-15k](https://github.com/databrickslabs/dolly/tree/master/data)获得的，并翻译成52种语言（52种语言x 67k实例= 3.4M实例）。52种语言的响应是从模型中生成的。gpt-3.5-turbo Bactrian-X模型是在Bactrian-X数据集上微调（使用[低秩自适应/ LoRA）](https://arxiv.org/pdf/2106.09685.pdf)的一系列LLM模型。 【zw-ps】 zero-lora的一个基础要点，就是数据、模型的归一化处理
[https://github.com/PhoebusSi/Alpaca-CoT/issues/53](https://github.com/PhoebusSi/Alpaca-CoT/issues/53) 是否要定期发布新训练的模型检查点？ 【zw-ps】 强烈建议发布，目前hf极度缺乏这种不同时间周期的连续训练模型，而这种模型和数据，是很多llm优化项目说需要的。 在《zero-lora零训练llm调参算法》当中，其中的一个关注要点就是： https://github.com/ziwang-com/zero-lora 基于时间（不同训练周期检查点）、空间（不同token权重对比）、深度（不同模型的tok权重映射）等多种维度的lora权重优化体系。
[https://github.com/PhoebusSi/alpaca-CoT](https://github.com/PhoebusSi/alpaca-CoT) Alpaca-CoT：具有指令数据收集和统一大语言模型接口的指令微调平台 这是该项目的存储库，旨在构建一个指令微调（IFT）平台，该平台具有广泛的指令集合（特别是CoT数据集）以及各种大型语言模型和参数高效方法的统一接口。我们正在不断扩展我们的[指令调整数据收集](https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/)，并集成更多的LLM和更参数高效的方法。此外，我们还创建了一个新的分支[tabular_llm](https://github.com/PhoebusSi/Alpaca-CoT/tree/tabular_llm)来构建用于解决表智能任务的表格 LLM。Alpaca-CoT 热忱欢迎您向我们提供任何未收集的指令调整数据集（或其来源）。我们将统一格式化它们，使用这些数据集训练 Alpaca 模型（以及早期的其他 LLM），开源[模型检查点](https://huggingface.co/QingyiSi/Alpaca-CoT/tree/main)，并进行广泛的实证研究。我们希望我们的项目能够为大型语言模型的开源过程做出一点贡献，并降低NLP研究人员入门的门槛。 您也可以选择加入我们的群聊（WeChat），与更多志趣相投的人交流。目前，群成员数量太大，无法直接通过群二维码加入群。您需要先与我联系才能进入小组。
[https://github.com/ggerganov/llama.cpp/issues/172](https://github.com/ggerganov/llama.cpp/issues/172) 羊驼劳拉作者在这里。我添加了一个脚本来合并权重并将其转换为我的存储库[（链接）](https://github.com/tloen/alpaca-lora/blob/main/export_state_dict_checkpoint.py)中的state_dict。好奇地看到它在美洲驼上运行.cpp :) 该代码不适用于美洲驼-65B。代码中的参数似乎与 7B 和 65B 不同。如何获得正确的参数？ 尝试与羊驼-洛拉合并及其量化 #172 打开 [taiyou2000](https://github.com/taiyou2000) 打开了本期 on Mar 16 ·19 评论 评论 @taiyou2000 [泰友2000](https://github.com/taiyou2000) 评论 [on Mar 16](https://github.com/ggerganov/llama.cpp/issues/172#issue-1626030942) 我试图合并 https://huggingface.co/tloen/alpaca-lora-7b 的羊驼-lora和 https://huggingface.co/decapoda-research/llama-7b-hf 的原始美洲驼-7B，还试图量化模型并在llama.cpp中运行主文件。...
[https://github.com/ggerganov/llama.cpp/issues/630](https://github.com/ggerganov/llama.cpp/issues/630) 将大型LLM与小型LLM相结合，以加快推理速度 #630 打开 [格尔加诺夫](https://github.com/ggerganov)打开了这个问题 on Mar 31 ·27 评论 评论 @ggerganov 所有者 [格尔加诺夫](https://github.com/ggerganov)评论 [on Mar 31](https://github.com/ggerganov/llama.cpp/issues/630#issue-1648057848) 所以我在考虑以下想法。 这可能完全是假的，但我肯定会在有时间的时候调查它，所以也许其他人也会感兴趣。 大型LLM需要花费大量时间来执行令牌推理。假设每个令牌需要 500 毫秒。 小型LLM（或其他方法）可以非常快速地推断令牌。假设< 5 毫秒。 让我们假设小LLM在80-90%的情况下是正确的。 思路如下： 在为下一个令牌运行大型 LLM 推理之前，我使用小型...
[https://github.com/ggerganov/llama.cpp/discussions/1101](https://github.com/ggerganov/llama.cpp/discussions/1101) LoRA 适配器 #1101 的潜在想法 [马铃薯斯普多夫斯基](https://github.com/PotatoSpudowski)在[“创意”](https://github.com/ggerganov/llama.cpp/discussions/categories/ideas)中开始了此对话 [LoRA 适配器的潜在想法](https://github.com/ggerganov/llama.cpp/discussions/1101#top) #1101 @PotatoSpudowski [马铃薯斯普多夫斯基](https://github.com/PotatoSpudowski) last month · 2 评论 · 1 回复 [返回页首](https://github.com/ggerganov/llama.cpp/discussions/1101#top) 讨论选项 [马铃薯斯普多夫斯基](https://github.com/PotatoSpudowski) [last month](https://github.com/ggerganov/llama.cpp/discussions/1101#discussion-5115082) 嗨， 感谢您的存储库和初始 lora 适配器支持. 我们在[fastLLaMa](https://github.com/PotatoSpudowski/fastLLaMa)存储库中探索了一些实验。 我们做了什么：...
[https://github.com/ggerganov/llama.cpp/issues/382](https://github.com/ggerganov/llama.cpp/issues/382) 添加使用羊驼模型的正确说明 #382 打开 [格尔加诺夫](https://github.com/ggerganov)打开了这个问题 on Mar 22 ·21 评论 评论 @ggerganov 所有者 [格尔加诺夫](https://github.com/ggerganov)评论 [on Mar 22](https://github.com/ggerganov/llama.cpp/issues/382#issue-1635205663) • 所以我正在查看 https://github.com/antimatter15/alpaca.cpp，我看到他们已经运行 30B 羊驼模型，而由于最近的分词器更新，我们正在努力运行 7B。 我还看到这些模型现在甚至漂浮在拥抱脸上 - 我想许可证问题不再是问题？ 我们应该添加获取羊驼模型的详细说明，以及如何使用以下脚本使模型与最新版本兼容的临时说明：master #324 （评论） 更大的问题是人们不断生成旧版本的模型，而不是迁移到最新的更改。因此，我们现在需要这个额外的转换步骤。最好弄清楚生成羊驼模型的步骤并以正确的格式生成它们。ggmlllama.cpp...