www.ziwang.com

zero-lora零训练llm调参算法 [https://github.com/ziwang-com/zero-lora](https://github.com/ziwang-com/zero-lora) 工程案例参见：全球首个StableVicuna中文优化版。 https://github.com/ziwang-com/chinese-StableVicuna 整个项目，仅用半天时间，其中大部分时间花在格式转换方面，与zero-lora相关的环节，不到20%。 zero-loro零训练llm调参算法，属于zw团队在llm一线工程中，总结的实战算法，相关理论，正在摸索当中，欢迎llm领域的专家学者，共同探讨。

[https://github.com/helblazer811/ManimML](url) ManimML是一个专注于通过[Manim社区库](https://www.manim.community/)提供常见机器学习概念的动画和可视化的项目。我们希望这个项目是原始可视化的汇编，可以轻松组合以创建有关复杂机器学习概念的视频。此外，我们希望提供一组抽象，允许用户专注于解释而不是软件工程。 

[](https://github.com/zjunlp/EasyEdit) Task Definition 部署的模型仍可能会产生不可预测的错误。例如，大型语言模型（LLM）臭名昭著产生幻觉 ,保持偏见、和实际衰变，所以我们应该能够调整预训练模型的特定行为。 模型编辑旨在调整初始基本模型的特定编辑描述符上的行为高效，例如（美国总统：唐纳德·特朗普->乔·拜登）： ：“谁是美国总统？ ：“乔·拜登。” 不影响无关样本的模型行为。最终目标是创建一个经过编辑的模型 . 

[https://github.com/invictus717/MetaTransformer](https://github.com/invictus717/MetaTransformer) 变压器在多模态学习中的潜力和可扩展性。我们利用变压器的优势来处理长度变化的序列。然后，我们按照元方案提出数据到序列标记化，然后将其应用于 12 种模态，包括文本、图像、点云、音频、视频、红外、高光谱、X 射线、表格、图形、时间序列和惯性测量单元 （IMU） 数据。 12 modalities including text, image, point cloud, audio, video, infrared, hyper-spectral, X-Ray, tabular, graph, time-series, and Inertial Measurement Unit (IMU) data. 

[](https://github.com/sdan/vlite) 取自 OpenAI 的 tiktoken 存储库，我添加了一个 visualize_tokens（） 函数来可视化 BPE 代币，我制作了visualize_tokens来处理 tokenizer.encode（） 函数的输出，因为当前支持的嵌入基于 BERT，并且不使用与 GPT-4 相同的标记化。 

[https://github.com/kaushalshetty/Structured-Self-Attention](url) 结构化的自注意句子嵌入 论文A Structured Self-Attentive Sentence Embedding的实现，该论文发表在ICLR 2017：https://arxiv.org/abs/1703.03130 上。  用法： 对于 imdb 数据集上的二进制情绪分类，请运行：python classification.py "binary" 对于路透社数据集上的多类分类，请运行：python classification.py "multiclass" 您可以在文件中更改模型参数，例如注意力跳数等。model_params.json fileconfig.json 如果要使用预训练手套嵌入，请将参数设置为 ，默认设置为 False。不要忘记下载并将其放在手套文件夹中。use_embeddings"True"glove.6B.50d.txt 实现： 使用自我注意进行分类 使用弗罗贝尼乌斯范数的正则化 渐变剪切 可视化注意力权重

[https://github.com/xwying/torchshow](url) Torchshow在一行代码中可视化您的数据。它旨在帮助调试计算机视觉项目。 Torchshow自动推断张量的类型，例如RGB图像，灰度图像，二进制蒙版，分类蒙版（自动应用调色板）等。并在需要时执行必要的非规范化。 支持类型： RGB 图像 灰度图像 二进制掩码 分类掩码（整数标签） 多个图像 视频 多个视频 光流（由[flow_vis](https://github.com/tomrunia/OpticalFlow_Visualization)提供动力) 

[https://github.com/julrog/nn_vis](url) 人工神经网络是人工智能研究的一个热门领域。大型模型的尺寸和复杂性不断增加带来了某些问题。神经网络内部工作原理缺乏透明度，因此很难为不同的任务选择有效的架构。事实证明，解决这些问题具有挑战性，并且由于缺乏对神经网络的有见地的表示，这种事态变得根深蒂固。考虑到这些困难，引入了一种新颖的3D可视化技术。经过训练的神经网络的属性是利用神经网络优化领域的既定方法估计的。批量归一化与微调和特征提取一起使用，以估计神经网络不同部分的重要性。将重要性值与各种方法（如边缘捆绑、光线追踪、3D 冒名顶替者和特殊的透明度技术）相结合，生成代表神经网络的 3D 模型。证明了提取的重要性估计的有效性，并探索了所开发的可视化的潜力。 

[https://github.com/JasonKessler/scattertext](url) 散点文本 0.1.19 一种工具，用于在语料库中查找可区分的术语并将其显示在交互式 HTML 散点图中。与术语对应的点被选择性地标注，以便它们不会与其他标注或点重叠。 引用为：杰森·凯斯勒。Scattertext：一种基于浏览器的工具，用于可视化语料库的不同之处。ACL 系统演示。2017. 下面是使用散点文本创建可视化术语的示例，这些术语在 2012 年美国政治大会上使用。2，000 个与当事方关联的最多单位在散点图中显示为点。它们的 x 轴和 y 轴分别是共和党和民主党发言人使用的密集等级。 

[https://github.com/jessevig/bertviz](url) 伯特维兹 在 NLP 模型中可视化注意力 [快速浏览](https://github.com/jessevig/bertviz#-quick-tour) • [入门](https://github.com/jessevig/bertviz#%EF%B8%8F-getting-started) • [Colab 教程](https://colab.research.google.com/drive/1hXIQ77A4TYS4y3UthWF-Ci7V7vVUoxmQ?usp=sharing) • [论文](https://github.com/jessevig/bertviz#-paper) BertViz是一个交互式工具，用于在BERT，GPT2或T5等[Transformer](https://jalammar.github.io/illustrated-transformer/)语言模型中可视化注意力。它可以通过支持大多数[Huggingface模型](https://huggingface.co/models)的简单Python API在Jupyter或Colab笔记本中运行。BertViz扩展了[Llion Jones](https://medium.com/@llionj)的[Tensor2Tensor可视化工具](https://github.com/tensorflow/tensor2tensor/tree/master/tensor2tensor/visualization)，提供了多个视图，每个视图都为注意力机制提供了一个独特的视角。