ZeroCLUE

ZeroCLUE copied to clipboard

你好，目前这个zeroshot baseline代码感觉是few-shot代码，zeroshot在不同的数据集下脚本无法运行，麻烦再检查一下，谢谢！

ztl-35

是否允许提交非模型方向的评测？

1

Hi.CLUEbenchmark 本人近期正在进行基于预训练模型的无监督中文指代消解方面的研究，通过智能化的问句模板生成及句子疑惑度在clue的训练集上取得了ACC 70+的结果，现在想要在zeroClue上进行评测，请问贵平台是否接受这样的评测提交？ 补充一下： 1.本人所使用模型为在hugging face上开源的模型，该模型不是我所发布，我的工作仅在提出了一种智能化的问句模板生成方式与配合句子疑惑度实现更好的指代消解结果。 2.出于投稿文章的考虑，是否允许仅提交评测结果或剔除重要函数（如问句生成）的代码供评测使用？ PS:gmail无法投递 [email protected]。。 

jasou1995

与FewCLUE的区别

3

老师您好，我发现现在公布的ZeroCLUE的几个评测结果跟FewCLUE的是一样的，ZeroCLUE不是不应该有训练数据吗，为什么也是采样了32或16个数据呢？

sunyilgdx