LIU Hongxu

{"mask"} automatically assigns <extra_id_0>, which conflicts with the task of masked filling

1

I want to do prompt tuning for a masked-fill-based T5 model, which has the input format like this: ```python test_dataset = [ InputExample(text_a="The quick fox over the lazy dog", tgt_text="...

模型会生成大量重复无意义的内容（就像初始参数随机的模型一样） 比如 ``` 输入：The capital city of China is [MASK]. 输出：[CLS] The capital city of China is [MASK]. K KparparReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloadedReloaded ``` 使用的代码是repo主页的示例代码，模型使用的是```THUDM/glm-2b``` 麻烦大佬们check一下