RoFormer_pytorch
RoFormer_pytorch copied to clipboard
JunnYu
RoFormer V1 & V2 pytorch
关于模型转换问题
请问怎样把bert4keras保存的模型转成pytorch， 是用model.save_weights()保存的 使用您提供的convert_roformer_original_tf_checkpoint_to_pytorch提示 RuntimeError: Unsuccessful TensorSliceReader constructor: Failed to find any matching files for
在训练的时候，从Dataloader中拿数据说没有batch_size，我检查了好几遍是有输入这个参数的。结果发现 ( model, optimizer, train_dataloader, eval_dataloader, lr_scheduler, ) = accelerator.prepare( model, optimizer, train_dataloader, eval_dataloader, lr_scheduler ) 这一段代码处理完后的train_dataloader的batch_size=None
我发现在bert4keras读取苏老师开源的chinese_roformer-sim-char-ft_L-12_H-768_A-12和在transformers上读取您的junnyu/roformer_chinese_sim_char_ft_base提取的句向量的效果是差不多的，但是当我尝试将苏老师的模型转为pytorch_bin再用transformers读取后，pooler层怎么都加不上去（bert4keras里指定with_pool='linear'就可以）请问您是如何解决的？
config = RoFormerTokenizer.from_pretrained(XXX) ModuleNotFoundError: No module named 'transformers.models.imagegpt' 使用transformers的没有错误
 这是您提供的roformer-base模型的config文件，我看里面"max_position_embeddings"是1536, 如果说我想使用更长的长度的话，那是不是就会出现错误呀？或者说我需要重新拿语料进行预训练来使用更大长度？谢谢！
非常感谢您在huggingface上的贡献！ 在我的项目中，我尝试利用transformers/example/pytorch/language_modeling中的mlm脚本对RoFormer继续在领域文本上预训练，但是预训练后的表现出现下降的问题。作为对比，对roberta继续预训练能够得到提升。 可以请教下具体的原因嘛？是否和脚本中调用的AutoModelForMaskedLM有关？ 再次感谢！
你好！ 在使用roformer v2微调的时候开启gradient checkpointing的时候会产生报错： File "/root/conda/envs/highbase/lib/python3.7/site-packages/torch/nn/modules/module.py", line 889, in _call_impl result = self.forward(*input, **kwargs) File "/root/conda/envs/highbase/lib/python3.7/site-packages/roformer/modeling_roformer.py", line 1120, in forward return_dict=return_dict, File "/root/conda/envs/highbase/lib/python3.7/site-packages/torch/nn/modules/module.py", line 889, in _call_impl result = self.forward(*input,...
