Self_Explaining_Structures_Improve_NLP_Models

Self_Explaining_Structures_Improve_NLP_Models copied to clipboard

您好，关于您论文中提到的AvgAttention和AvgGradient对比方法我有一些疑问。以AvgAttention为例，假如以一个文本单元内所有词的Attention权重的均值作为这个文本单元的得分，那么这个得分就不会大于该文本单元内部Attention权重最高的词的权重值，那么选择得分最高的文本单元不是等价于选择Attention权重最高的单词吗，这样的话，抽取出来的文本单元应该都是单个词，而不会有词组的形式。可是后面的实验部分这两个对比方法都抽取出了词组的形式，这是不是就矛盾了。

LuckyDoggy