Non-Linearized Position Embedding可以展开介绍一下吗

[bojone]

“为此，智源团队创新提出NLPE（Non-Linearized Position Embedding，非线性位置编码）方法，在 RoPE 方法的基础上，通过调整相对位置编码、约束最大相对长度来提升模型外延能力。”

来自 https://mp.weixin.qq.com/s/ZQF4Y-kJaPKn5q69WoxmzQ 的介绍，对NLPE部分比较感兴趣。我看hf上的代码也好像没发现相关内容。

[isuco]

“为此，智源团队创新提出NLPE（Non-Linearized Position Embedding，非线性位置编码）方法，在 RoPE 方法的基础上，通过调整相对位置编码、约束最大相对长度来提升模型外延能力。”

来自 https://mp.weixin.qq.com/s/ZQF4Y-kJaPKn5q69WoxmzQ 的介绍，对NLPE部分比较感兴趣。我看hf上的代码也好像没发现相关内容。

感谢关注～我们已经在准备开源代码了，预计下周会加到仓库。同时之后也会有详细的技术报告来解释NLPE的工作。

[yuanjypku]

感谢回复~NLPE的具体原理是基于修正attention分布的frequency-aware & position aware 位置编码修改，具体细节我们后续会发布在技术报告里

[bojone]

打扰一下，请问这个还有后续介绍吗？我有没有错过啥？