www.ziwang.com

[https://github.com/Pascalco/twoWeightComponentModel](url) 两个突触权重成分模型 该模型展示了如何通过使用突触权重组件来防止持续强化学习中的灾难性遗忘。此外，还再现了标记、交叉标记和粗纱实验的实验结果。 文献：P. Leimer、M. Herzog、W. Senn（2019年4月）。具有选择性

[https://github.com/cliang1453/CAMERO](url) CAMERO：具有权重共享的扰动语言模型的一致性正则化集成 （ACL 2022） CAMERO：具有权重共享的扰动语言模型的一致性正则化集成 此存储库包含我们的论文[“CAMERO：具有权重共享的扰动语言模型的一致性正则化集成”](https://arxiv.org/abs/2204.06625)（ACL 2022）的代码。我们提出了一种基于权重共享的一致性正则化扰动模型的大规模语言模型的参数高效集成方法。

[https://github.com/pars3c/model_weight_improvement_1](url) 基本神经网络，模型改进权重以达到假装的目标值

[https://github.com/joe-siyuan-qiao/WeightStandardization](url) 标准化砝码以加速微批量训练 权重标准化 (https://arxiv.org/abs/1903.10520) （WS） 是一种加速微批量训练的规范化方法。微批量训练很困难，因为小批量大小不足以使用批量归一化 （BN） 训练网络，而其他不依赖于批量知识的归一化方法仍然难以匹配 BN 在大批量训练中的性能。 我们的 WS 解决了这个问题，因为当与组规范化一起使用并使用 1 个图像/GPU 训练时，WS 能够匹配或优于以大批量大小训练的 BN 的性能，只需多 2 行代码。因此，如果您遇到任何微批量训练问题，请帮自己一个忙，尝试重量标准化。您会惊讶于它的性能。 WS通过标准化卷积层中的权重来实现这些卓越的结果，我们证明能够通过减少损失和梯度的Lipschitz常数来平滑损失景观。有关详细信息，请参阅我们的[arXiv](https://arxiv.org/abs/1903.10520)报告。如果您觉得这个项目有帮助，请考虑引用我们的论文。 @article{weightstandardization, 

[https://github.com/openai/weightnorm](url) 权重归一化的示例代码，来自“权重归一化：加速深度神经网络训练的简单重新参数化” [arxiv.org/abs/1602.07868](https://arxiv.org/abs/1602.07868)

[https://github.com/rutrastone/tree_vizzer](url) 快速可视化语言模型注意力权重作为依赖树 快速可视化语言模型注意力权重作为依赖树。 首先，创建一个环境并安装依赖项： conda create -n viz python=3.7 pip install -r requirements.txt python -m spacy download xx_ent_wiki_sm 调用示例： python run.py --sentence "The dog chased the cat from the room"...

[https://github.com/OzlemMelda/polyhunt](url) 找线性模型的最佳拟合正则化权重 我的目标是为线性模型找到最佳拟合正则化权重。我的程序是矢量化的，效率合理。我使用 numpy 中的矢量操作例程。这些是用编译语言实现的，这些语言比python效率高得多 我创建了各种合成数据集，每个数据集都是通过选择特定的多项式，对x轴的子集进行采样，评估每个点的多项式，然后添加少量零均值高斯噪声来创建的。我的目标是为每个数据集确定不会产生大量过拟合的最佳拟合多项式阶数。 我编写了一个额外的方法，可以扫描每个多项式阶数（最多到给定的最大值）。对于每个步骤，我找到最佳权重并评估准确性（通过rmse）并估计过度拟合的程度。然后，我开发自己的启发式方法，将“最佳”顺序确定为可实现的具有最高准确度的顺序，而不会产生明显的过度拟合。

[https://github.com/langosco/weight-augmentations](url) 用于训练元模型的神经网络权重增强

[https://github.com/LinyangLee/Layer-Weight-Poison](url) EMNLP 2021 论文的代码：通过分层权重中毒对预训练模型的后门攻击 [分层权重中毒对预训练模型的后门攻击](https://arxiv.org/abs/2108.13888)代码 我们使用的是旧版本的变压器（2.9.0），因此，为了更快地重新实现，我们只提供关键组件，以便更快地转移到最新版本的拥抱面变压器。 中毒数据生成： 我们正在使用generate_triggers.py为每个数据集生成触发数据。 主要实验是使用组合触发器。对于某个任务，数据目录中应该有一个干净的训练集、一个中毒的训练集、一个干净的有效集和一个中毒的有效集。 对于消融研究，还可以生成单令牌触发数据集。 培训和测试： 我们提供了一个运行 sst-2 数据集实验的示例脚本，数据目录中应该有预生成的中毒数据集。 我们通过超参数控制不同的实验设置weight_poison包括正常微调、坏网、限制内积法和我们提出的下拉加权毒法。

[https://github.com/shunk031/chainer-MeanTeachers](url) Chainer对论文“平均教师是更好的榜样：权重平均一致性目标改善半监督深度学习结果”（https://arxiv.org/abs/1703.01780 的实现。)