Sun Yi
Sun Yi
老师您好，首先感谢您的工作，请教您以下问题： CLUE评测集没有公开测试集，而在论文中，通常需要将相关模型运行多次（例如5次、10次）并在验证集和测试集上得到相应的结果，但由于CLUE的官网有提交次数的限制（每天最多2次、每月最多10次提交），很难满足论文中多个模型和消融实验的对比，请问一下有没有好的办法？ 例如：假设有3个需要对比的模型，和3个消融实验，那么需要验证的模型约有5个，需要验证的结果为5乘以5或5乘以10
通过验证集发现，即使全预测为0，也有0.69的ACC，Google-BERT-Base 模型可以达到大约0.735左右的ACC，但实际上F1值仅有0.5+，通过人工观察数据集，也未发现有很明显的规律，请问这个数据集是否存在标注缺陷
首先非常感谢你们的工作！ 发现了有一点点小错误，在[ModelZoo](https://github.com/dbiir/UER-py/wiki/Modelzoo)中的More pre-trained Weights， [MixedCorpus+BertEncoder(large)+MlmTarget](https://share.weiyun.com/5G90sMJ) 这个训练任务应该是写错了，我推测应该是BertTarget，因为在[中文文档](https://github.com/dbiir/UER-py/wiki/%E9%A2%84%E8%AE%AD%E7%BB%83%E6%A8%A1%E5%9E%8B%E4%BB%93%E5%BA%93)写的是MixedCorpus+BertEncoder(large)+BertTarget 再次感谢！！
EFL模型复现结果近乎随机猜测，使用的是RoBERTa-wwm-ext，pytorch版本的
关于结果的随机性
同学您好，感谢分享您的工作，想请教一下指定了随机种子后（默认是seed=7），训练的结果（包括每一步的损失和ACC）还是有一定的随机性，这是为什么呢？
请问一下文中提到的数据增强的效果如何，是不是把几个阶段的数据集加起来训练模型效果会更好？还是每个阶段只用该阶段的数据集训练模型？
感谢您的工作，对我有很大的启发 不过我对ElasticSearch有一些疑问，为什么不管我的target.csv有多少条数据(source.csv数据足够多)，最后生成的selected.csv的数据条目总是小于或等于5000条，我在调试过程中，发现query_neighbours的值也总是小于5000的，是不是需要对ElasticSearch进行一些参数设置？
请问如何下载到CC-Stories语料库呢？
老师您好，我发现现在公布的ZeroCLUE的几个评测结果跟FewCLUE的是一样的，ZeroCLUE不是不应该有训练数据吗，为什么也是采样了32或16个数据呢？
测试集标注结果
请问如何获得测试集的标注结果？