FastBERT icon indicating copy to clipboard operation
FastBERT copied to clipboard

关于更换在其他数据集下预训练的BERT模型,效果达不到论文中所宣称的问题

Open MiloGame opened this issue 1 year ago • 0 comments

作者大大您好,首先非常感谢您的开源精神和杰出的工作,我有一点疑惑向来咨询一下大大。就是我采用speed=0.5,batch_size=64,预训练加载的是我在其他数据集上已经重新委托过的BERT模型,但是运行fastbert后最终的结果准确度却下降了20%,如下图所示 屏幕截图 2023-04-22 182241 屏幕截图 2023-04-22 181936 我有些疑惑,按道理来说不应该出现这样的问题啊,还是说作者大大的模型只对readme中提到的那几个模型有用,在其他数据集上微调的BERT模型不可以使用本文的程序吗?请作者大大解答一下,非常感谢

MiloGame avatar Apr 22 '23 12:04 MiloGame