slczgwh

正好有同样的问题想问。我这边在SuperGLUE上的实验发现有几个数据集分数与随机数种子有很高的关联性（与使用的代码关联性就更高了，用Jiant和Allennlp跑出来分数差异也有几个点）。CB这个数据集甚至能从70多波动到90多。不知道作者是怎么处理这些随机因素的？

CB这个数据集，只用BERT-BASE-UNCASE跑十次随机数种子，差别也能到这个程度（Jiant的结果）。 f13_bb -- 0.912281 0.866667 0.867925 0.945455 0.867925 0.857143 0.915254 0.912281 0.836364 0.912281

It might be a following problem of this [issue](https://github.com/slczgwh/REDN/issues/3#issuecomment-613311240)?

Maybe you open multiple instances of this code but without change the saving directory?