您好！关于提供的roformer-base模型的最大长度问题

[BCWang93]

这是您提供的roformer-base模型的config文件，我看里面"max_position_embeddings"是1536, 如果说我想使用更长的长度的话，那是不是就会出现错误呀？或者说我需要重新拿语料进行预训练来使用更大长度？谢谢！

[JunnYu]

参考这个 issue https://github.com/JunnYu/RoFormer_pytorch/issues/15 修改了max_position_embeddings后，如果碰见加载权重不匹配的话，只要删除掉pytorch_model.bin中的 embed_positions这个权重。