这个和普通RNN相比是否仅在于多了attention机制

[Ostnie]

你好，我最近因为导师的要求在用RNN对实验室的一批信号数据进行分类，初步学习RNN的内容。

attention机制看起来是一个很有趣的机制，我很认真的阅读了您的博客和代码，不过由于对RNN确实知之甚少所以一知半解，目前以我的了解就是在普通RNN的基础上增加了Attention，相当于多了一些α的值来调整不同timestep的数据的影响？不知道我这么理解对不对。

如果我的理解没有问题，是否意味着其实那就是说attention机制对我的信号调制模式识别任务没有什么帮助，因为噪声都是高斯白噪声，干扰应该也是比较均匀的，应该信号中的每一段都提供几乎相同的信息和作用，以您的理解觉得我的想法是对的吗？

但是不得不说这确实是一个很有趣的机制，我很有兴趣继续学习相关内容即使我可能用不上，我觉得这些思想对我也会很有帮助，不知道您是否有相关内容的学习路径，例如层层递增的论文和代码等。

非常感谢！

[lc222]

首先你的第一个理解是没问题的，如果没理解错的话信号调制模式识别的意思就是不同的信号经过不同的调制模式之后变成高频信号？不过你可以试试，有的时候不能用直观的想法去断定一个模型是否有效，准靠谱的方法就是泡个实验室一下就行了~~

[Ostnie]

@lc222 很有意思，按说这个机制应该没什么提高，但是实验结果表明他提高了接近3%，相当惊人，我这两天看了一下其他的attention的项目，但是似乎感觉有的attention说的似乎不是一个内容，除了提供权重当做attention外，还有什么别的attention的解释吗？

我现在唯一能确定的就是Attention is all you need 里提到的attention和这里的attention不是一个内容