FastBERT

FastBERT copied to clipboard

数据集报错

4

用你的数据集thucnews跑多分类是OK的，用自己的数据集一直出现这个错误，请问数据集需要怎么处理吗？ Traceback (most recent call last): File "run_fastbert.py", line 652, in main() File "run_fastbert.py", line 589, in main result = evaluate(args, False, False) File "run_fastbert.py", line 445, in evaluate p...

1125690278

多分类的效果问题

6

不知道作者有没有在复杂的分类数据集上尝试过该模型，我尝试在一个40分类的数据集上所有样本的不确定性都在0.95以上。

qsong4

aliendaniel

关于batchsize对训练和测试的影响

1

您好，我做了两个不同的实验。第一个是训练和测试的batchsize大小都为1（这样训练速度较慢）；第二个是训练和测试的batchsize大小都为32；第二个实验的分类准确率比第一个实验低约2个百分点。 我在思考batchsize影响这么大的原因，一般来说batchsize增大可以增加模型泛化能力。但是在fastbert中，是否因为batchsize变大对推理阶段准确率影响较大？ 不知道您有没有做过batchsize对训练测试影响的相关实验，或者有什么建议呢？

NovemberSun

请问CPU上，单个句子的推理时间是多少啊

zhouyongjie

复现时的问题

8

你好，我在复现您的实验（没有进行任何修改）的时候在主干网络的训练时准确率是逐渐提高的，在蒸馏阶段验证集和测试集的acc每一个epoch都和主干网络的最后一个epoch相同，请问是我哪里出错了吗？

1125690278

YYangZiXin

现在distill阶段使用的是固定的speed和epochs， 而且没有做early stopping. 对于不同的数据集， 如何确定这些超参数，已经如何选取最终的模型？

yangshao

Hi, I'm trying to load other huggingface pre-trained model, for example, like this one: https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-multilingual-cased-pytorch_model.bin but i found i cannot load it as the parameter names are different, or where...

yangshao

I am curious about fast_mode argument, how and when to use this argument?

hiber-niu