Phoeby2618
Results
1
comments of
Phoeby2618
问题1：代码中的tokenizer貌似是针对英文token的，对每个单词wordpiece，把单词之间的空格替换成[unused1]。如果是中文会出现你描述的情况，中文的tokenizer还需要改写下。