bert_distill distill.py结果问题

distill.py结果问题

Open letiantony opened this issue 4 years ago • 2 comments

首先感谢分享代码，我看distill.py有个疑问，最后输出的准确率是dev集上的结果，而默认teach_on_dev = True，这样相当于用dev集合在训练，这会导致测试效果虚高吧？

Mar 16 '21 07:03 letiantony

我明白用的dev集进行训练的时候没有过使用golden label，但是一般在真实场景下我们无法提前知道要预测的样本，我用distill.py在测试集上评估准确率，提升非常有限，不知道是不是我哪里用错了。

Mar 16 '21 07:03 letiantony

也有同样疑惑，虽然没有使用label，但却使用验证集指标来衡量模型，总觉得有点不妥

Aug 25 '21 06:08 paulxu1314