yujun
yujun
你可以先参考一下 #14 #17 #22 这三个issue。 目前在忙毕业论文，忙完之后我会尝试着手`语义相似度任务`的转换。
`pip install roformer==0.4.3` ```python import torch import numpy as np from roformer import RoFormerTokenizer, RoFormerForCausalLM, RoFormerConfig device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') pretrained_model = "junnyu/roformer_chinese_sim_char_base" tokenizer = RoFormerTokenizer.from_pretrained(pretrained_model) config...
安装个0.4.3版本就可以了，这个是最新的版本，pip install roformer==0.4.3
更新一下transformers到4.12.5 试试
我的正常，你可以重新装一下这两个库。 
https://github.com/huggingface/accelerate/blob/23c0341262bd396a3ba9265614b3818d6e08a6c1/src/accelerate/data_loader.py#L417-L571 看这里accelerate仓库处理dataloader返回的是DataLoaderShard
训练的是什么模型？char级别的还是word级别的模型
模型搭建的是没有问题，https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py 可以参考原版的keras代码继续预训练，然后再把模型转成pytorch试试
参考这个 issue https://github.com/JunnYu/RoFormer_pytorch/issues/15 修改了`max_position_embeddings`后，如果碰见加载权重不匹配的话，只要删除掉`pytorch_model.bin`中的 `embed_positions`这个权重。
@sxthunder https://github.com/JunnYu/RoFormer_pytorch/issues/11 本仓库的代码添加了pooler层，可以参照这个issues进行转换权重