eval-scope icon indicating copy to clipboard operation
eval-scope copied to clipboard
verified publisher icon modelscope

OpenCompass Eval-Backend 不能用自定义的数据集吗？

Open jackqdldd opened this issue 1 year ago • 2 comments

我在llmuses/benchmarks 按照格式定义了一个数据集，如何来验证vllm部署的模型？Native 模式没找到传模型地址的地方，OpenCompass模式 自定义的数据集不支持

jackqdldd avatar Jul 12 '24 10:07 jackqdldd

llm-wizard/alpaca-gpt4-data-zh 没有注册

me-v2 avatar Jul 15 '24 02:07 me-v2

OpenCompass模式因为是使用openai api方式，需要先做settings的对齐，先期放了50个benchmark； 自定义的数据集我们会在这两天支持上。

wangxingjun778 avatar Jul 21 '24 19:07 wangxingjun778

OpenCompass模式因为是使用openai api方式，需要先做settings的对齐，先期放了50个benchmark； 自定义的数据集我们会在这两天支持上。

目前支持了么？ @wangxingjun778

JarHMJ avatar Oct 25 '24 08:10 JarHMJ