如何基于YUAN模型进行无监督预训练？

[zhangzai666]

我参考了一下hugging face的无监督训练代码，简单测试了一下。代码如下： from transformers import T5Tokenizer, T5ForConditionalGeneration import torch tokenizer = T5Tokenizer.from_pretrained("premodel/ChatYuan-large-v1") model = T5ForConditionalGeneration.from_pretrained("premodel/ChatYuan-large-v1") input_ids = tokenizer("一只<extra_id_0>走在<extra_id_1>大街上", return_tensors="pt").input_ids labels = tokenizer("<extra_id_0>可爱的<extra_id_1>宽敞的<extra_id_2>", return_tensors="pt").input_ids outputs = model(input_ids=input_ids, labels=labels) loss = outputs.loss logits = outputs.logits 结果报错： IndexError: index out of range in self 应该是embedding层索引越界，看了模型的词表，并没有<extra_id_0><extra_id_1>标记，但是tokenizer后没有报错 请问如何基于YUAN模型进行无监督预训练？无监督预训练的数据格式是什么，万分感谢

[joytianya]

请参考readme里预训练的代码

[zhangzai666]

十分感谢，chatyuan无监督训练的数据集简单示例可以看一下么，用什么进行标记mask的

[joytianya]

具体可以参考t5的构建规则哈https://github.com/google-research/text-to-text-transfer-transformer