learn-nlp-with-transformers
learn-nlp-with-transformers copied to clipboard
(先不要关注)课程内容中的语法错误等
2.2中的Transformer结构细节中输入处理部分,“那么就填充先填充...”
Self-Attention细节 公式部分“W^Q,W^K,W^K” 修改为“W^Q,W^K,W^V”
2.2节错误参考:
- "先将Transformer这种特殊的seqseq模型" -> "先将Transformer这种特殊的seq2seq模型"
- "而Self Attention机制值得是" -> "而Self Attention的机制是"
- ""it"在模型中的表示,融合了"animal"和"tire"的部分表达。" -> ""it"在模型中的表示,融合了"animal"和"tired"的部分表达。"
- 在"Self-Attention细节"一小节中的四行公式中,步骤2-3一行里,计算score_xy的分子,应该是q_1 * k_1等等