isuco

> @ikuyamada Hi, quite busy these days and very sorry for the delay. I found the model but didn't have time to evaluate it. I already uploaded it and you...

> > “为此，智源团队创新提出NLPE（Non-Linearized Position Embedding，非线性位置编码）方法，在 RoPE 方法的基础上，通过调整相对位置编码、约束最大相对长度来提升模型外延能力。” > > 来自 https://mp.weixin.qq.com/s/ZQF4Y-kJaPKn5q69WoxmzQ 的介绍，对NLPE部分比较感兴趣。我看hf上的代码也好像没发现相关内容。 感谢关注～我们已经在准备开源代码了，预计下周会加到仓库。同时之后也会有详细的技术报告来解释NLPE的工作。