opencompass
opencompass copied to clipboard
[Feature] 是否可以有输出结果后,单独去计算一下评分的功能
描述该功能
在测试数据集过程中,整个模型输出都已经输出并记录成json,但是在计算分数的过程中报错导致没有结果。现在是否可以直接调用哪个脚本计算一下得分?
是否希望自己实现该功能?
- [x] 我希望自己来实现这一功能,并向 OpenCompass 贡献代码!
确实重新请求一次耗时太长了,如果能利用已有的结果评测就好了,实现应该不难,就是把步骤拆出来。希望官方给个demo文档
同意, infer完后的Prediction结果都保存成功了, 但是eval的时候报错. 修改Bug后如果再评测就要再进行一轮Infer, 又要花一堆时间, 希望官方给个demo文档哇.
同需要这个功能
这个功能支持了吗