请问您试过将rnn 替换成 multi-head attention 嘛？我试过，不知道为什么，效果很不好

[Jingyilang]

[Diamondfan]

没有在这个repo下试过，猜测multi-head attention应该需要调整一下学习策略。