关于论文中注意力热力图的问题

Open Transformer0714 opened this issue 2 years ago • 2 comments

作者你好，论文案例分析中的注意力热力图是如何绘制的，比如模型有多层，每一层又有多个注意力头，是选取的其中一个吗

Nov 10 '23 05:11 Transformer0714

对的选择某一个层

Dec 11 '23 07:12 aptx1231

请问下如何生成这样的热图，1.是要加入其他代码才能让它生成吗？要加什么代码？2.还是热图已经生成出来了，在哪里查找呢？

Dec 12 '24 12:12 lsy-study