FastBERT
FastBERT copied to clipboard
关于更换在其他数据集下预训练的BERT模型,效果达不到论文中所宣称的问题
作者大大您好,首先非常感谢您的开源精神和杰出的工作,我有一点疑惑向来咨询一下大大。就是我采用speed=0.5,batch_size=64,预训练加载的是我在其他数据集上已经重新委托过的BERT模型,但是运行fastbert后最终的结果准确度却下降了20%,如下图所示
我有些疑惑,按道理来说不应该出现这样的问题啊,还是说作者大大的模型只对readme中提到的那几个模型有用,在其他数据集上微调的BERT模型不可以使用本文的程序吗?请作者大大解答一下,非常感谢