www.ziwang.com

[https://github.com/ggerganov/ggml/issues/8](https://github.com/ggerganov/ggml/issues/8) 通过从头开始的小训练美洲驼实现骆驼的向后传递示例 [https://github.com/ggerganov/llama.cpp/pull/1360](https://github.com/ggerganov/llama.cpp/pull/1360) @ggerganov我现在已经成功测试了美洲驼所需的所有向后传递。https://github.com/xaedes/llama.cpp/tree/training-integrate 我必须添加的所有新操作的列表： GGML_OP_ADD1：我想我可以用add（X，repeat（Y，X））代替它 GGML_OP_ADD_AT：查看向后传递所必需的。这会将 src1 添加到视图 （src0），但返回形状为 src0 的张量。也许这个操作可以得到另一个像ACC_VIEW一样的名字？ GGML_OP_SUM_ROWS：重复向后传递所必需的：通过对行求和来减少行。形状[A，B，C，D] ->形状[1，b，c，d] GGML_OP_SILU_BACK ： 西鲁向后传球所必需的 GGML_OP_RMS_NORM_BACK：也可以使用原语实现，但会牺牲性能。 GGML_OP_GET_ROWS_BACK：get_rows向后传递所必需的：将 src0[i] 行添加到 opt0[src1[i]] 行，返回形状为 opt0 的张量。也许此操作可以得到一个更有意义的名称，例如ADD_ROWS_TO或ACC_ROWS_TO？ GGML_OP_DIAG ：softmax向后传递是必需的，替代方案是直接实现SOFTMAX_BACK，但DIAG至少可用于其他东西。它将行转换为对角矩阵。 GGML_OP_DIAG_MASK_ZERO ： diag_mask_inf向后传递所必需的...

[https://github.com/jina-ai/finetuner](https://github.com/jina-ai/finetuner) Finetuner logo: Finetuner helps you to create experiments in order to improve embeddings on search tasks. It accompanies you to deliver the last mile of performance-tuning for neural search...

[https://huggingface.co/digitous/Alpacino30b](u[r](https://huggingface.co/digitous/Alpacino30b)l) -Alpac（ino） 代表 羊驼综合叙事优化。 该模型是（Alpaca+（CoT+Storytelling）的三重模型合并，从而全面提升了Alpaca的推理和故事写作能力。羊驼被选为这次合并的骨干，以确保羊驼的指导格式保持主导地位。 嘿！新的GGML口味！哇！

[https://huggingface.co/Aeala/GPT4-x-AlpacaDente2-30b](https://huggingface.co/Aeala/GPT4-x-AlpacaDente2-30b) 新鲜的阿尔帕斯塔，完成了阿尔登特！ 这是合乎逻辑的选择！现在具有与 [GPT4-X-Alpasta-30b](https://huggingface.co/MetaIX/GPT4-X-Alpasta-30b) 相似的个性模拟质量！ 型号信息： ChanSung的[Alpaca-LoRA-30B-elina](https://huggingface.co/LLMs/Alpaca-LoRA-30B-elina)与[Open Assistant的第二个Finetune](https://huggingface.co/OpenAssistant/oasst-sft-7-llama-30b-xor)合并

[https://github.com/zjunlp/CaMA](https://github.com/zjunlp/CaMA) CaMA: A Chinese-English Bilingual LLaMA Model CaMA: 中英双语LLaMA模型。 伴随着ChatGPT的诞生，人工智能也迎来了“iPhone时刻”，各种大语言模型（Large Language Model，LLM）如雨后春笋般涌现，这股大模型的风也迅速席卷到除了自然语言处理的其他人工智能领域。但是训练这样一个模型需要极高的硬件成本，此外由于各种原因，开源的语言模型很少，支持中文的语言模型就更为稀缺了。直到LLaMA的开源，随后各式各样的、基于LLaMA的语言模型也层出不穷。而本项目也同样是基于LLaMA模型，为了进一步提供中文能力，且不破坏原来的分布，我们首先（1）使用中文语料首先对LLaMA（13B）进行进一步全量预训练，在尽可能保留原来的英文和代码能力的前提下，进一步提高模型对于中文理解能力和知识储备；接着（2）使用指令数据集对第一步的模型微调，来提高语言模型对于人类指令的理解。 本项目的特点如下： 用我们构建的中文预训练语料对LLaMA进行全量预训练，提高了模型对于中文的理解能力 用我们构建的中文指令数据集（约1400K条样本），使用LoRA微调，提高模型对于人类指令的理解 对信息抽取（Information Extraction，IE）任务，包括NER、RE、IE进行优化，可以使用人类指令来完成信息抽取任务 开源了预训练模型的权重、指令微调的LoRA权重 开源了全量预训练脚本（提供大型语料的转换、构建和加载），LoRA指令微调脚本 所有权重均已上传huggingface。CaMA的diff权重位于[此处](https://huggingface.co/zjunlp/CaMA-13B-Diff)，LoRA权重位于[此处](https://huggingface.co/zjunlp/CaMA-13B-LoRA)。

[https://github.com/ggerganov/llama.cpp/discussions/1595](https://github.com/ggerganov/llama.cpp/discussions/1595) 将这种方法与美洲驼的量化进行比较会很有趣.cpp： https://huggingface.co/blog/4bit-transformers-bitsandbytes 我们介绍了QLORA，这是一种高效的微调方法，可以减少内存使用量，足以在单个48GB GPU上微调65B参数模型，同时保留完整的16位微调任务性能。QLORA 通过冻结的 4 位量化预训练语言模型将梯度反向传播到低秩适配器 （LoRA）。 据我了解， 主要思想是在 4 位量化后，在每一层使用 LoRA 微调模型， 将性能恢复到预量化水平. 这可能也可以应用于GGML量化模型 - 通过在GGML中进行实际的微调，或者通过在Python中训练并导出LoRA。 他们声称一些额外的技术有助于生成质量： 正常浮点量化 4 位 NormalFloat 量化 NormalFloat （NF） 数据类型建立在分位数量化 [15] 的基础上，这是一种信息理论上最优的数据类型，可确保每个量化箱具有...

[https://github.com/ggerganov/llama.cpp/discussions/1213](https://github.com/ggerganov/llama.cpp/discussions/1213) 如何创建自己的 LoRA 适配器？ #1213 悬而未决 [马德斯8cht](https://github.com/maddes8cht)在问答中[问](https://github.com/ggerganov/llama.cpp/discussions/categories/q-a)了这个问题 讨论选项 [马德斯8cht](https://github.com/maddes8cht) [last month](https://github.com/ggerganov/llama.cpp/discussions/1213#discussion-5140274) 我喜欢使用 LORA 的可能性.但是我如何创建自己的 LoRA 以在 Llamacpp 中使用？ 使用哪种软件？ 找到稳定扩散的适当说明很容易，但对于Llamacpp或LLM来说，这要困难得多。 有没有适合初学者的资源？ 如果LLM的LoRA生态系统能够出现，那就太好了，就像StableDiffusion发生的那样。我还没有看到。（我错过了什么吗？ 答复：2 评论 注释选项 [斯拉伦](https://github.com/slaren) [last month](https://github.com/ggerganov/llama.cpp/discussions/1213#discussioncomment-5752980) 合作者 您可以使用...

[https://huggingface.co/digitous/13B-Chimera](https://huggingface.co/digitous/13B-Chimera) 13B-嵌合体 组成： [] = 作为 LoRA 应用于复合模型 |（） = 组合为复合模型 （（MantiCore3E+VicunaCocktail）+[SuperCOT+[StorytellingV2+（SuperHOTProtoType-8192ctx+Metharme）]]） 该模型是在语言模型和模型合并上实验性使用 LoRA 的结果，这些模型不是它们所针对的基本 HuggingFace 格式 LLaMA 模型。期望的结果是累加应用所需的特征，而不会矛盾地淡化模型的有效行为。 潜在的限制 - 相互叠加的 LoRA 可能会相互竞争. 主观结果 - 非常有希望。需要进一步的实验测试和客观测试。 指导和设置建议： 羊驼指示经过验证的工作，骆马指示格式应该有效。如果使用 KoboldAI...

[https://github.com/oldgrev/coco-LoRA](https://github.com/oldgrev/coco-LoRA) 于低秩适应的计算文本化 大型语言模型小规模学习。本德说最好记住我。LoRA 可以实现什么来增强本地模型的内存？ remember me 局部模型的上下文相对较低，使用嵌入会很快耗尽上下文空间。有较长的上下文模型，但它们是资源密集型的。获得准确信息的答案通常是使用嵌入和向量数据库，这很好，但不完美。社区中的讨论通常始于人们听说 LoRA 并认为“我可以训练新知识”，这在某种程度上是可能的， 但也是不完美的.在任何一种情况下，由于短暂的幻觉或偏见，都不能信任本地语言模型提供事实。根据我的经验，始终如一的嵌入更准确。 挑战已知范式;模型对非常非常小的数据集上的训练有何反应？我们可以通过更大的数据集将这种能力扩展到多远？ 这个git不是科学™，它采取的方法是完美可以成为好的敌人，而好的信息有它的用途。 [结果](https://github.com/oldgrev/coco-LoRA/blob/master/RESULTS.MD) 一个疯狂的目标 - 动态 LoRa 训练和加载 对于当今大多数 vram 级别来说，可能无法达到，但我正在玩的选项是： 文档上的 QnA，但更多的嵌入是动态 LoRA tized 的，并且其中一部分也用作输入，以便模型可以更好地响应 QnA 上下文。 跟踪哪些文本已被 LoRA...

[https://github.com/tic-top/LoraCSE](https://github.com/tic-top/LoraCSE) LoRACSE： 使用 LoRA 对句子嵌入的对比学习 EECS 487的最终项目：自然语言处理导论（Umich） 导演：贾一林、李思凯、麦玉琪 日期： 18 4月， 2023 指示 该项目涉及通过一系列实验评估 LoraCSE 模型的性能.下面介绍如何访问和运行代码： 打开 LoraCSE.ipynb 笔记本以查看并运行所有实验的代码。 按照笔记本中提供的说明使用 GPU 运行实验并查看结果。 运行实验后， 请参阅随附的 LoRACSE.pdf 文件以获取结果的详细分析. LoRACSE.pdf中提供的分析提供了对LoraCSE模型的性能及其处理不同类型数据的能力的见解。使用此信息可提高模型针对特定用例的准确性。