www.ziwang.com

[https://github.com/graylan0/Aeternitas](url) Aeternitas-互通的 GPT 循环 埃特尼塔斯 一个 GPT NEO 与 Tkinter GUI 互通的 Llama 循环 名称由 GPT4 和 Bard 创建，灵感来自《星际迷航》的数据。 代码由机器人+人类编写 此脚本在 Llama 模型和 GPT-Neo 之间循环互通。它处理给定列表中的主题，使用 Llama 模型生成响应，然后将该响应用作 GPT-Neo 的输入。GPT-Neo 生成另一个响应，然后在下一次迭代中将其用作...

[https://github.com/ssbuild/llm_finetuning](url) 大语言模型微调 bloom，opt，gpt，gpt2，gpt3，llama，cpmant

[https://github.com/galatolofederico/vanilla-llama](url) LLaMA的普通Pytorch实现 易于使用和微调🔥 使用[🤗加速](https://github.com/huggingface/accelerate)在所有可用的 GPU 上分发模型 随附电池🔋 不错的单行加载和生成😎

[https://github.com/zjunlp/KnowLM](url) KnowLM基于Llama的针对知识抽取的智析大模型 随着深度学习技术的快速发展，大型语言模型如ChatGPT在自然语言处理领域已经取得了显著的成就。然而，这些大型模型在学习和理解知识方面仍然存在一些挑战和问题，包括知识更新的困难，以及模型中潜在的错误和偏差等知识谬误问题。KnowLM项目旨在发布开源大模型框架及相应模型权重以助力减轻知识谬误问题。 本项目一期发布了基于Llama的针对知识抽取的智析大模型。为了提供中文能力且不破坏原来模型的分布，本项目首先（1）使用中文语料首先对LLaMA（13B）进行进一步全量预训练，在尽可能保留原来的英文和代码能力的前提下，进一步提高模型对于中文理解能力和丰富模型的知识储备；接着（2）使用指令数据集对第一步的模型微调，来提高语言模型对于人类抽取指令的理解。 ❗请注意本项目仍在优化中，模型权重会定期更新，并迭代支持新功能、新模型！ 本项目的特点如下： 围绕知识和大模型，用构建的中英双语预训练语料对大模型如LLaMA进行全量预训练 基于知识图谱转换指令技术对知识抽取任务，包括NER、RE、IE进行优化，可以使用人类指令来完成信息抽取任务 用构建的中文指令数据集（约1400K条样本），使用LoRA微调，提高模型对于人类指令的理解 开源了预训练模型的权重、指令微调的LoRA权重 开源了全量预训练脚本（提供大型语料的转换、构建和加载）和LoRA指令微调脚本（支持多机多卡） 所有权重均已上传🤗HuggingFace。需要注意的是，下面的所有效果均是以ZhiXi-13B-Diff为基础的，如果下载的是ZhiXi-13B-Diff-fp16，效果可能会存在出入！

[https://github.com/yangjianxin1/LLMPruner](url) LLMPruner：大语言模型裁剪工具 项目简介 微信公众号【YeungNLP】文章：[LLMPruner：大语言模型裁剪工具](https://mp.weixin.qq.com/s/leVtrwZc1zLput51Nr99lw) LLMPruner是一个大语言模型裁剪工具，通过对大语言模型的冗余词表进行裁剪，减少模型参数量，降低显存占用，提升训练速度，并且能够保留预训练中学习到的知识。 大语言模型（LLM， Large Language Model）犹如雨后春笋般，其虽然效果惊艳，但参数量巨大，让普通玩家望而却步。如今的大语言模型大多为多语种大预言模型（Multilingual Large Language Model），如LLaMA、mT5、Bloom等，其词表规模巨大，占据非常大部分的模型参数，如Bloom具有25万词表。在训练模型时，词表权重将会消耗非常大的显存，降低训练速度，产生OOM的现象。 然而在许多下游任务中，我们往往只需要使用到一两种语言，例如在中文场景中，一般只会用到中英文。我们可以对大语言模型的词表进行裁剪，只留下所需的部分，这样不仅能够充分保留模型的预训练知识，并且能够使用更少的显卡进行下游任务的finetune，提升训练效率。

[https://github.com/leliyliu/smoothquant](url) SmoothQuant：针对大型语言模型的准确高效的训练后量化 [[论文](https://arxiv.org/abs/2211.10438)] [[幻灯片](https://github.com/leliyliu/smoothquant/blob/main/assets/SmoothQuant.pdf)] 如果您有兴趣获得更新，请[在此处](https://forms.gle/YjYQQas5Hbqge1LH9)注册以获取通知！  intuition 抽象 大型语言模型 （LLM） 具有出色的性能，但会占用大量计算和内存。量化可以减少内存并加速推理。但是，对于超过1000亿个参数的LLM，现有方法无法保持准确性或无法在硬件上高效运行。我们提出了 SmoothQuant，这是一种免训练、精度保持和通用的训练后量化 （PTQ） 解决方案，可为 LLM 启用 8 位权重、8 位激活 （W8A8） 量化。 基于权重易于量化而激活不容易量化的事实，SmoothQuant 通过离线将量化难度从激活迁移到具有数学等效变换的权重来平滑激活异常值。SmoothQuant 能够对 LLM 中所有矩阵乘法的权重和激活进行 INT8 量化，包括 OPT-175B、BLOOM-176B、GLM-130B 和...

大势所趋，殊途同归。 我们AGM战略方向没问题，路越走越宽 [https://github.com/ggerganov/ggml/issues/220](url) 前不久，谷歌，openAI新闻说：我们没有护城河，开源llm是趋势。 而这其中，全球最活跃的GPT-LLM大模型社区，无疑是：llamaccp社区。 https://github.com/ggerganov/llama.cpp/ 全球顶级GPT-hacker，基本上都聚集在Github项目网站的llamaccp社区。 最流行的LLM模型文件格式：ggml=gg+ml。 其中：gg，就是社区发起人ggerganov格格尔加诺夫的姓名缩写，ml是机器学习简称。 近日，llamaccp社区发布了近期的项目路线图，其中多个核心项目，与我们的AGM项目，非常类似。 参见： [AGM阿格姆：AI基因图谱模型](http://mp.weixin.qq.com/s?__biz=MzI5MjQzNzg0Mw==&mid=2247486052&idx=1&sn=5657fec13d73a3960696860ff1db20dd&chksm=ec002058db77a94ee9629b1312b3227fd51bda5f99a1c0e7ebb379929248a6b18b69e5d98e92&scene=21#wechat_redirect) 这一方面是：大势所趋，殊途同归。 另外，也说明我们AGM项目，战略方向没问题，路越走越宽 就像毛老爷子说的：把朋友搞的多多的，把敌人搞的少少的。 llamaccp社区，发起人ggerganov格格尔加诺夫，在最新的llama.cpp-roadmap项目路线图，公布了一系列规划，其中与AGM项目相关的有以下几组： #启动mini迷你模型研究，开始从微观角度剖析GPT大模型。 @xaedes的惊人工作继续给人留下深刻印象：从头开始训练文本 #1652 最终，凭借训练迷你模型的能力，我有兴趣制作以下想法的小原型，以便更快地推理：将大型LLM与小型LLM相结合，以加快推理速度 #630（评论） 与zw-AGM阿格姆，基于微观 token粒子权重关系图谱类似，不过没有这么细化。工程还是需要逐步深入，AGM是理论先行，两者并不矛盾。 mini迷你模型，一直是AGM项目的重点，AGM社区，也汇聚了多组相关项目：nanoGPT，miniGPT，tinyTensor，languagemodels，以及相关的衍生项目：miniChain迷你链，miniAGI等等。 参见AGM社区相关栏目： https://github.com/ziwang-com/AGM/issues [langChain杀手2：MiniChain迷你链-全球首发](http://mp.weixin.qq.com/s?__biz=MzI5MjQzNzg0Mw==&mid=2247486062&idx=1&sn=b6c4de56f239fe1a2d5ff77d91838343&chksm=ec002052db77a944d5fe5814cbca807b2538d6bcb83ba677e75dc8209844dd28a1f2919f2492&scene=21#wechat_redirect) #MUL_MAT微调算法 一些非常好的观点和分析微调MUL_MAT、新线程（旋转+等待/通知）、通过拆分计算阶段加速q_f32 BLAS...

[https://github.com/jncraton/languagemodels](url) 语言模型 PyPI version docs x64 Build ARM64 BuildNetlify Status Open In Colab Python 构建块，可在任何具有 512MB RAM 的计算机上探索大型语言模型 Try with Replit Badge 翻译你好世界示例 目标受众 该软件包旨在为学习者和教育工作者提供尽可能简单的设计，以探索大型语言模型如何与现代软件开发相交。此包的接口都是使用标准类型的简单函数。大型语言模型的复杂性隐藏在视野之外，同时使用轻量级开放模型提供免费的本地推理。所有包含的模型都免费用于教育用途，不需要 API 密钥，默认情况下，所有推理都在本地执行。

ai模型的基础单位：张量tensor，位于金字塔塔尖，属于最基础的单位，与我们agm阿格姆项目的tokne类似，但token隐含了id概念 [https://github.com/tensorly/torch](url) TensorLy-Torch是一个用于深度张量网络的Python库，它建立在[TensorLy](https://github.com/tensorly/tensorly/)和[PyTorch](https://pytorch.org/)之上。它允许在深度学习环境中轻松利用张量方法，并随附所有电池。  网站： http://tensorly.org/torch/ 源代码：https://github.com/tensorly/torch 使用 TensorLy-Torch，您可以轻松： 张量分解：分解、操作和初始化张量分解可能很棘手。我们通过方便、统一的 API 处理这一切。 利用数据中的结构：使用张量层，您可以通过张量回归层、因式分解卷积等轻松利用数据中的结构 内置张量层：您所要做的就是导入张量火炬，并将我们提供的层直接包含在您的 PyTorch 模型中！ 张量钩子：您可以使用我们内置的张量钩轻松增强您的架构。使用张量 Dropout 增强您的网络，并使用 L1 正则化自动选择端到端排名！ 所有可用的方法：我们一直在添加更多方法，以便于比较各种基于深度张量的方法的性能！ 深度张量学习 张量方法将矩阵代数运算推广到高阶。深度神经网络通常在高阶张量之间进行映射。事实上，正是深度卷积神经网络保存和利用局部结构的能力，以及大型数据集和高效的硬件，使当前的性能水平成为可能。张量方法允许进一步利用和保留该结构，用于单个层或整个网络。

[https://github.com/arogozhnikov/readable_capsnet](url) 75 行 pytorch+einops 中的极快胶囊网络 胶囊网络