CLUE icon indicating copy to clipboard operation
CLUE copied to clipboard

这个评测工具如何使用?

Open xuanyaoming opened this issue 7 months ago • 1 comments

项目文档在如何评测用户自己的大模型这块十分模糊,我没看到任何指引。我的问题主要集中在几个方面:

  • 目前这个repo里是否有可以一键评估大语言模型的代码?还是说只是指明中文大模型评测集的下载路径?
  • 目前我有一个支持huggingface的模型,能否直接用这个repo里的代码评测?
  • 因为大模型体量较大(将近200GB左右),能否以只提供openai格式API的方式测评?
  • 这个项目的开发团队是否还在运营一个网站?这个repo、pip 安装的PyCLUE和这个网站三者之间有什么联系啊?我想评测一个大模型需要用哪个呢?

xuanyaoming avatar Jul 18 '24 06:07 xuanyaoming