opencompass icon indicating copy to clipboard operation
opencompass copied to clipboard

[Feature] 是否可以有输出结果后,单独去计算一下评分的功能

Open Dagoli opened this issue 10 months ago • 4 comments

描述该功能

在测试数据集过程中,整个模型输出都已经输出并记录成json,但是在计算分数的过程中报错导致没有结果。现在是否可以直接调用哪个脚本计算一下得分?

是否希望自己实现该功能?

  • [x] 我希望自己来实现这一功能,并向 OpenCompass 贡献代码!

Dagoli avatar Feb 12 '25 03:02 Dagoli

确实重新请求一次耗时太长了,如果能利用已有的结果评测就好了,实现应该不难,就是把步骤拆出来。希望官方给个demo文档

wtlwang2019 avatar Mar 11 '25 01:03 wtlwang2019

同意, infer完后的Prediction结果都保存成功了, 但是eval的时候报错. 修改Bug后如果再评测就要再进行一轮Infer, 又要花一堆时间, 希望官方给个demo文档哇.

xyfan22 avatar Mar 13 '25 09:03 xyfan22

同需要这个功能

Nyoko74 avatar Apr 23 '25 09:04 Nyoko74

这个功能支持了吗

llllllaz avatar Sep 29 '25 12:09 llllllaz