AesopChow

请问能开放基于clue数据的base模型，large太大训不动，tiny又不如bert base。

2

如题。 因为看模型对比里面有BERT-base基于clue_vocab训练的，做了速度对比。 ps: RoBERTa-large-clue词表和配置不一样。vocab大小是8021，config文件大小是21128。

题主的代码看着很舒服。 在数据输入中，每个batch随机抽取，个人感觉应该是每个epoch打乱之后遍历更合适。实验了一下准确率也更高。