Simon

> base是24层，但是hidden size没有扩大； large的hidden size也相应的扩大了； 意思是加载Roberta_l24_zh_base需要修改bert_config_large.json中的hidden size为768？

@duzx16 你们使用的训练数据是什么规模，可以开源吗？我们的业务数据由于数据隐私与安全的问题，不方便提交。如果你们的训练数据可以开源，我们每次训练时，使用你们的训练数据+我们的业务数据一起训练。