RoFormer_pytorch icon indicating copy to clipboard operation
RoFormer_pytorch copied to clipboard

Published 20 hours ago • verified publisher icon JunnYu

RoFormer_pytorch继续预训练性能下降

Open hflserdaniel opened this issue 3 years ago • 3 comments

非常感谢您在huggingface上的贡献！ 在我的项目中，我尝试利用transformers/example/pytorch/language_modeling中的mlm脚本对RoFormer继续在领域文本上预训练，但是预训练后的表现出现下降的问题。作为对比，对roberta继续预训练能够得到提升。 可以请教下具体的原因嘛？是否和脚本中调用的AutoModelForMaskedLM有关？ 再次感谢！

hflserdaniel avatar Nov 02 '21 14:11 hflserdaniel

训练的是什么模型？char级别的还是word级别的模型

JunnYu avatar Nov 02 '21 14:11 JunnYu

模型搭建的是没有问题，https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py 可以参考原版的keras代码继续预训练，然后再把模型转成pytorch试试

JunnYu avatar Nov 02 '21 15:11 JunnYu

训练的是什么模型？char级别的还是word级别的模型

使用的是word级别的模型和对应的词表及分词器

hflserdaniel avatar Nov 03 '21 06:11 hflserdaniel