重要性权重 [

[ziwang-com]

https://github.com/mhex/Importance_Weights 将重要性权重 [1] 应用于 PTB 语言模型 [2]、Seq2Seq 机器翻译 [3] 和神经 GPU [4]

“重要性权重”方法 （IW） 加快了对“困难”数据集的学习，包括不平衡数据、高度非线性数据或序列中的长期依赖关系。为每个训练数据点分配一个重要性权重，并控制其对总权重更新的贡献。重要性权重是通过求解二次优化问题获得的，并确定数据点的学习信息性。