CLUE
CLUE copied to clipboard
这个评测工具如何使用?
项目文档在如何评测用户自己的大模型这块十分模糊,我没看到任何指引。我的问题主要集中在几个方面:
- 目前这个repo里是否有可以一键评估大语言模型的代码?还是说只是指明中文大模型评测集的下载路径?
- 目前我有一个支持huggingface的模型,能否直接用这个repo里的代码评测?
- 因为大模型体量较大(将近200GB左右),能否以只提供openai格式API的方式测评?
- 这个项目的开发团队是否还在运营一个网站?这个repo、pip 安装的PyCLUE和这个网站三者之间有什么联系啊?我想评测一个大模型需要用哪个呢?