请问支持相对位置编码的Bert吗?

[trouble-maker007]

请问支持 relative position embedding 类似 nezha, roformer ，如果是roformer，是不是需要将模型的参数名称改为和Bert一样才能使用

[dingjingzhen]

非常感谢反馈，我们暂时不支持 nezha, roformer的 relative position embedding，为了方便用户使用，我们尽力融入transformers和fairseq社区，如果你的模型结构不一样的话可以通过参考修改eet/transformers中的文件通过op level的APIs，将Embedding改成你需要的relative position embedding，其他模块修改权重名即可。