www.ziwang.com

[https://github.com/ankurtaly/Integrated-Gradients](url) 集成梯度 (又名路径集成梯度，又名深度网络的公理归因) 触点：集成梯度 AT gmail.com 贡献者（按字母顺序，姓氏）： Kedar Dhamdhere（谷歌） 普拉莫德·考什克·穆德拉卡尔塔（芝加哥大学） Mukund Sundararajan （Google） Ankur Taly（谷歌大脑） 金华（肖恩）徐（确实） 我们研究了将深度网络的预测归因于其输入特征的问题，以尝试解释单个预测。例如，在对象识别网络中，归因方法可以告诉我们图像的哪些像素负责选择某个标签，或者句子中的哪些单词表示强烈的情感。 应用程序的范围从帮助开发人员调试，允许分析师探索网络的逻辑，以及让最终用户对网络预测的原因有一定的透明度。 积分梯度是计算预测输出的梯度的变体，w.r.t.输入的特征。它不需要修改原始网络，实现简单，适用于各种深度模型（稀疏和密集，文本和视觉）。 相关论文和幻灯片 [深度网络的公理归因](http://proceedings.mlr.press/v70/sundararajan17a/sundararajan17a.pdf) -- Mukund Sundararajan， Ankur Taly， Qiqi Yan， 机器学习国际会议 （ICML）...

[https://github.com/yosinski/convnet_transfer](url) 深度神经网络中的特征可转移性如何？ 此存储库包含重现以下论文中介绍的结果所需的源代码： @inproceedings{yosinski_2014_NIPS title={How transferable are features in deep neural networks?}, author={Yosinski, Jason and Clune, Jeff and Bengio, Yoshua and Lipson, Hod}, booktitle={Advances in Neural Information Processing Systems 27...

[https://github.com/yosinski/deep-visualization-toolbox](url) 深度可视化工具箱 这是运行深度可视化工具箱以及使用正则化优化生成逐个神经元可视化所需的代码。工具箱和方法[在这里](http://yosinski.com/deepvis)随便介绍，在本文中更正式地描述： Jason Yosinski，Jeff Clune，Anh Nguyen，Thomas Fuchs和Hod Lipson。[通过深度可视化了解神经网络](http://arxiv.org/abs/1506.06579)。在深度学习研讨会上发表，国际机器学习会议（ICML），2015年。

[https://github.com/giuseppec/featureImportance](url) 特征重要性：[MLR](https://github.com/mlr-org/mlr) 包的与模型无关的排列特征重要性 CRAN Status Badge CRAN Downloads Build Status codecov [文章“可视化黑盒模型的特征重要性”](https://arxiv.org/abs/1804.06620)的结果 此 R 包是作为 ECML-PKDD 2018 会议轨道上接受的文章[“可视化黑盒模型的特征重要性”](https://arxiv.org/abs/1804.06620)的一部分开发的。本文应用程序部分的结果可以使用[此处](https://github.com/giuseppec/featureImportance/blob/master/ecml-demo/application_results.md)提供的代码重现。 软件包的安装

[https://github.com/matgege/nam-visualization](url) 神经加法模型 - 可视化工具 PyPI Python Version arXiv GitHub license  [神经加性模型 （NAM）](https://neural-additive-models.github.io/) [Agarwal 等人 2020](https://arxiv.org/abs/2004.13912) 将 DNN 的一些表达性与广义加性模型的固有可理解性相结合。NAM 学习神经网络的线性组合，每个神经网络都关注单个输入特征。这些网络是联合训练的，可以学习其输入特征和输出之间的任意复杂关系。 在这种可视化方法中，特征对热图（2D热图）及其相应的特征图（形状函数）在[达世币](https://plotly.com/dash/)应用程序中可视化。用户可以通过热图的差异自动过滤最有用的热图和手动选择热图之间进行选择。手动模式还受完整 NAM 模型上的排列特征重要性的支持。

[https://github.com/pietrobarbiero/logic_explained_networks](url) 欢迎来到逻辑解释网络 （LEN）  逻辑解释网络是一个 python 存储库，提供一组实用程序和模块来构建可通过设计解释的深度学习模型。该库提供已实现的 LEN 类和 API 类，以便从神经网络获取一阶逻辑 （FOL） 解释。纸 该库中提出的想法已发表在[Logic Explain Networks](https://www.sciencedirect.com/science/article/pii/S000437022200162X)论文中，该论文发表在Artificial Intelligence杂志上。可以从[ArXiv](https://arxiv.org/abs/2108.05149)下载公开可用的版本。

[https://github.com/fork123aniket/Model-agnostic-Graph-Explainability-from-Scratch](url) 与模型无关的图从零开始的可解释性 该存储库包含一个图形可解释性解决方案，该解决方案将工作（[GraphMask Explainer](https://arxiv.org/pdf/2010.00577.pdf)）扩展到异构图和同构图，使此功能与模型无关。此外，此实现同时提供了节点特征级和边缘级属性掩码（解释子图），这是一个二进制值向量。此掩码向量的所有值表示图中不影响其相应预测的特征（和边），而与值关联的特征（和边）被认为在影响原始图神经网络 （GNN） 模型输出的相关预测方面非常有效。01 要求

[https://github.com/dnyanshwalwadkar/explanable-AI](url) 可解释的人工智能 项目名称：自动编码解释库 （AEE-Lib） 目标和目的： 开发一个 Python 库，为深度学习模型的内部表示生成人类可读的解释，使用户能够理解决策过程和模型输出背后的推理。 为各种深度学习模型提供支持，包括卷积神经网络 （CNN）、递归神经网络 （RNN）、长短期记忆网络 （LSTM）、门控循环单元 （GRU）、变压器和其他流行架构。 开发用户友好的API，允许用户轻松生成和自定义其模型的解释。 提供多种解释技巧和方法，满足不同模型和任务的具体要求。 提供清晰简洁的文档，包括示例和教程，使具有不同专业知识水平的用户可以访问该库。 支持的深度学习模型： 卷积神经网络 （CNN） - 广泛用于图像分类、对象检测和其他计算机视觉任务。递归神经网络 （RNN） - 专为顺序数据而设计，例如时间序列或自然语言处理任务。 长短期记忆网络 （LSTM） 和门控循环单元 （GRU） - 先进的...

[https://github.com/fdalvi/NeuroX](url) NeuroX提供了所有必要的工具来执行以探测为中心的（深度）神经网络的解释和分析。具体而言，该工具包提供：  支持从流行模型（包括整个[变压器](https://github.com/huggingface/transformers)）中提取激活，并计划在不久的将来扩展对[OpenNMT-py](https://github.com/OpenNMT/OpenNMT-py)等其他模型的支持 支持在这些激活之上、模型的整个激活空间、特定层甚至特定神经元集上训练线性探针。 支持与特定概念相关的神经元提取，使用线性相关分析方法（[什么是沙漠中的一粒沙？分析深度NLP模型中的单个神经元。](https://ojs.aaai.org/index.php/AAAI/article/view/4592/4470)该工具包可以提取对特定目标类重要的神经元的局部排名，也可以提取对所有目标类重要的神经元的全局排名。 通过去除或归零特定神经元来确定其功能和重要性来支持消融分析。 支持跨各种分词器（包括 BPE 和[转换器](https://github.com/huggingface/transformers)库中的所有分词器）进行子词和字符级聚合。 支持对常规文本的激活可视化，以生成特定句子神经元活动的定性样本。 [可以使用](https://neurox.qcri.org/demo)此工具包提供的许多功能的演示。

[https://github.com/Trusted-AI/AIX360](url) AI 可解释性 360 （v0.2.1） Build Documentation Status PyPI version AI 可解释性 360 工具包是一个开源库，支持数据集和机器学习模型的可解释性和可解释性。AI 可解释性 360 Python 包包括一套全面的算法，涵盖不同维度的解释以及代理可解释性指标。 [AI 可解释性 360 交互式体验](http://aix360.mybluemix.net/data)通过演练不同使用者角色的示例用例，简要介绍了概念和功能。[教程和示例笔记本](https://github.com/Trusted-AI/AIX360/blob/master/examples)提供了更深入的、面向数据科学家的介绍。完整的 API 也可用。 没有一种单一的可解释性方法最有效。有很多方法可以解释：数据与模型，直接解释与事后解释，局部与全局等。因此，找出哪种算法最适合给定用例可能会令人困惑。为了提供帮助，我们创建了一些[指导材料和](http://aix360.mybluemix.net/resources#guidance)可以参考的[图表](https://github.com/Trusted-AI/AIX360/blob/master/aix360/algorithms/README.md)。 我们在开发包时考虑了可扩展性。该库仍在开发中。我们鼓励您贡献您的可解释性算法、指标和用例。要开始成为贡献者，请在此处[请求邀请，](https://join.slack.com/t/aix360/shared_invite/enQtNzEyOTAwOTk1NzY2LTM1ZTMwM2M4OWQzNjhmNGRiZjg3MmJiYTAzNDU1MTRiYTIyMjFhZTI4ZDUwM2M1MGYyODkwNzQ2OWQzMThlN2Q)加入 [Slack 上的 AI 可解释性...