CLUE

CLUE copied to clipboard

提交评测后无法在排行榜中查到

2

提交后能在个人得分情况中看到分数，但是无法在排行榜中查到排名，请问是什么原因？

Ynglylife

cmrc排行榜如何查看F1分值

3

您好，我注意到cmrc2018的排行榜只会显示EM的分数，请问有办法查看F1的分数吗？

conan1024hao

你好，cmrc数据集的test.json没有答案，无法利用官方的评估脚本计算准确率

1

huzj01

Changanyue

502 Bad Gateway

letiantony

网站无法提交了

1

网站无法提交了

460130107

https://github.com/thinksoso/datasets/blob/master/clue/download.sh ``` BASH declare -A dict dict['tnews']=https://storage.googleapis.com/cluebenchmark/tasks/tnews_public.zip dict['afqmc']=https://storage.googleapis.com/cluebenchmark/tasks/afqmc_public.zip dict['iflytek']=https://storage.googleapis.com/cluebenchmark/tasks/iflytek_public.zip dict['ocnli']=https://storage.googleapis.com/cluebenchmark/tasks/ocnli_public.zip dict['cmnli']=https://storage.googleapis.com/cluebenchmark/tasks/cmnli_public.zip dict['cluewsc2020']=https://storage.googleapis.com/cluebenchmark/tasks/cluewsc2020_public.zip dict['csl']=https://storage.googleapis.com/cluebenchmark/tasks/csl_public.zip dict['cmrc2018']=https://storage.googleapis.com/cluebenchmark/tasks/cmrc2018_public.zip dict['drcd']=https://storage.googleapis.com/cluebenchmark/tasks/drcd_public.zip dict['chid']=https://storage.googleapis.com/cluebenchmark/tasks/chid_public.zip dict['c3']=https://storage.googleapis.com/cluebenchmark/tasks/c3_public.zip for key in $(echo ${!dict[*]}) do wget ${dict[$key]} unzip ${key}"_public.zip" -d ${key} rm...

thinksoso

c3任务数据处理问题

8

你好，关于c3任务有两个问题，（1）对于test数据处理是c3-d-test.json命名，但是下载的C3数据是没有这个test文件的，只有test1.0.json和test1.1.json，具体代码问题参考下面图片。（2）为什么在test数据集上有answer部分的处理逻辑，test部分要submit到网站，下载每个sample有context，question和choice，如果后面要转化label，会报错。谢谢！  

ztl-35

您好！ 感觉README给的指标有点偏低，我跑的roberta-wwm-ext-large模型在CLUEWSC2020上有90+，所以疑惑表里的69.7(64.5)是不是我以为的CLUEWSC2020呢 谢谢！

LiuChiachi

你好，我使用BERT模型去跑源代码，提交结果后，目前clue 1.1上的两个任务：OCNLI_50K 和 WSC1.1显示不正常（有结果，但是和readme中的BERT模型差距很大），我看官网提醒更新了测试集，请问能检查一下这两个任务目前是不是由于代码或者数据上传路径原因导致的吗？

ztl-35