zero-lora
zero-lora copied to clipboard
ziwang-com
zero零训练llm调参
[https://github.com/Prsaro/lora_dualnetwork](https://github.com/Prsaro/lora_dualnetwork) LoRA双网络 通过双路径低秩适配实现风格融合 [Arxiv](https://github.com/Prsaro/lora_dualnetwork/blob/main) • [依赖](https://github.com/Prsaro/lora_dualnetwork#dependency) • [培训](https://github.com/Prsaro/lora_dualnetwork#training) • 测试 • [日志](https://github.com/Prsaro/lora_dualnetwork#demo) [•](https://github.com/Prsaro/lora_dualnetwork#pre-trained-models-and-results) [引用](https://github.com/Prsaro/lora_dualnetwork#citation) python license 从使用 [lora 块权重](https://raw.githubusercontent.com/hako-mikan/sd-webui-lora-block-weight/)的 LoRA 分层控制中汲取灵感， 我们开发了这个脚本.在 SD LoRA 模型中， 当多个 LoRA 模型堆叠时，可能会发生特征融合和崩溃， 极大地限制了 LoRA...
[https://github.com/l294265421/chat-sentiment-analysis](https://github.com/l294265421/chat-sentiment-analysis) 通过聊天解决所有情绪分析任务 准备微调数据 process_asote_data.py/prepare_data chat_sentiment_analysis 支持的任务 方面术语提取 （ATE） 意见词提取 （OTE） 方面术语-观点术语对提取 （AOPE） 方面术语、情绪、观点术语三重提取 （ASOTE） process_acsa_data.py/prepare_data/chat_sentiment_analysis 支持的任务 宽高比类别检测 （ACD） 方面类别-情感对提取 （ACSA） process_acos_data.py/prepare_data/chat_sentiment_analysis 支持的任务 [方面-类别-意见-情感 （ACOS） 四重提取](https://github.com/NUSTM/ACOS) process_structured_sentiment_data.py/prepare_data/chat_sentiment_analysis 支持的任务 [持有人、目标、观点、情绪 （HTOS） 四重提取](https://github.com/jerbarnes/semeval22_structured_sentiment)
[https://github.com/abetlen/llama-cpp-python/issues/237](https://github.com/abetlen/llama-cpp-python/issues/237) 你的意思是像这样可视化代币概率吗？ 是的。可能吗？理想情况下 - 可以将BertViz https://github.com/jessevig/bertviz 用于LLaMA和衍生模型。 该示例应该适用于我刚刚推送的 v0.1.51。 步骤： 安装 llama-cpp-python >= v0.1.51 启动 Web 服务器--model_alias text-davinci-003 通过 docker 启动 openplayground，并将那里的 IP 地址替换为 llama-cpp-python Web 服务器的本地 IP 地址docker run...
今天github排行榜，居然有两个TOT思维树项目入榜。 @ [https://github.com/kyegomez/tree-of-thoughts](https://github.com/kyegomez/tree-of-thoughts) @ [https://github.com/ysymyth/tree-of-thought-llm](https://github.com/ysymyth/tree-of-thought-llm) TOT思维树：使用大型语言模型进行深思熟虑的问题解决，将模型推理提升至少 70% TOT思维树，全称：tree-of-thought。 TOT思维树，是语义链 思维链的自然扩展。 这个其实也是一种广义版本的zero-lora零训练llm优化技术，通过优化模型的逻辑流程，提高llm的实际推理能力。 类似我们的logNET逻辑神经网络，如果能够集成专业知识库，更加理想。
[https://github.com/kyegomez/Sophia](https://github.com/kyegomez/Sophia) 索菲亚优化器 将模型训练成本降低 50%？ 有了这个全新的简单即插即用优化器：索菲亚 [Sophia：用于语言模型预训练的可扩展随机二阶优化器](https://arxiv.org/pdf/2305.14342.pdf) 现在，实验文件夹中的训练文件已准备就绪！🔥🔥🔥 Sophia 是一种二阶裁剪随机优化算法，它使用对 Hessian 对角线的廉价随机估计作为预调节器和裁剪机制来控制最坏情况的更新大小。它在验证预跟踪损失、总计算和挂钟时间方面实现了比 adam 更好的性能。通过将模型训练成本降低一半，Sophia 可以帮助节省数百万甚至数十亿美元的计算资源。 好处 索菲亚实现了相同的验证训练前损失，步数比亚当少 50% 总计算量减少 50%，挂钟时间减少 50% 无缝集成到现有培训管道中 - 即插即用！ 对模型架构或计算基础设施没有特殊要求 支持哈钦森和高斯-牛顿-巴特利特黑森估计量
QLoRA：在单个 GPU 上微调 65B LLM [https://github.com/artidoro/qlora](https://github.com/artidoro/qlora) [https://github.com/oobabooga/text-generation-webui/issues/2253](https://github.com/oobabooga/text-generation-webui/issues/2253) [https://github.com/huggingface/transformers/pull/23479](https://github.com/huggingface/transformers/pull/23479) 想知道它会更快还是更稳定。由于它是通过变压器进入的，因此应该更容易支持。希望它不仅限于美洲驼。 不仅如此，它还应该在现有的 8 位选项之外添加一个备受期待的新选项，用于使用新的 FP4 格式进行动态 4 位量化，据称相对于 16 位几乎是无损的。load_in_4bit 如果这是真的，这太疯狂了，我们将不再需要 GPTQ 此 PR 将 4 位 QLoRA 引入变压器。主要变化是针对位沙字节配置。此外，我们对 LLaMA 实现添加了一项更改，其中存在一个错误，即如果层规范为 32...
[https://github.com/Facico/Chinese-Vicuna/issues/19](https://github.com/Facico/Chinese-Vicuna/issues/19) 目前还不支持。如果只是单纯把lora模型的权重叠加并不会有好的效果。 不过lora应该可以像MoE那样将多个lora模型合并，这是一个很有前途的架构，估计现在有很多科研前线的研究人员在做了，其实就和adapterFusion一个道理，原理很简单AdapterFusion[： Non-Destructive Task Composition for Transfer Learning（AdapterFusion](https://arxiv.org/pdf/2005.00247.pdf)），stable diffusion那边挺多弄这个的。 要实现的话可以参考一下思路： 1、hard MoE，在对一个句子动态选择使用哪个lora权重 2、soft MoE，对一个句子的时候，把各种lora计算一个注意力权重，然后融合起来 这些都是很有意思的idea，不过我们目前还不支持这样做。
[https://github.com/OptimalScale/LMFlow](https://github.com/OptimalScale/LMFlow) 用于微调和推理大型基础模型的可扩展工具包。适合所有人的大型模型。 一个可扩展、方便且高效的工具箱，用于微调大型机器学习模型，旨在用户友好、快速可靠，并且可供整个社区访问。 适合所有人的大型模型。查看我们[的愿景](https://github.com/OptimalScale/LMFlow#vision)。
[https://github.com/stochasticai/xturing](https://github.com/stochasticai/xturing) xTuring提供快速、高效和简单的LLM微调，如LLaMA，GPT-J，Galactica等。通过提供一个易于使用的界面来微调LLM到您自己的数据和应用程序，xTuring使构建，自定义和控制LLM变得简单。整个过程可以在您的计算机内部或私有云中完成，确保数据隐私和安全。 有了你可以，xTuring 从不同来源摄取数据并将其预处理为LLM可以理解的格式 从单个 GPU 扩展到多个 GPU，以便更快地进行微调 利用内存高效方法（即 INT4、LoRA 微调）将硬件成本降低多达 90% 探索不同的微调方法并对其进行基准测试，以找到性能最佳的模型 根据明确定义的指标评估微调模型以进行深入分析
[https://github.com/oobabooga/text-generation-webui/issues/1088](https://github.com/oobabooga/text-generation-webui/issues/1088) 似乎可以用低至 6Gib VRAM 微调 INT4 LLM，这要归功于[随机/xturing](https://github.com/stochasticai/xturing)：https://github.com/stochasticai/xturing#-new-feature---int4-fine-tuning-with-llama-lora 将此功能集成到文本生成中会很棒 webui . 谢谢！ 其他上下文 https://github.com/stochasticai/xturing/blob/main/examples/int4_finetuning/README.md