opencompass icon indicating copy to clipboard operation
opencompass copied to clipboard

[Bug] lark报告时,base,py L66会有bug

Open Sniper970119 opened this issue 1 year ago • 0 comments

先决条件

  • [X] 我已经搜索过 问题讨论 但未得到预期的帮助。
  • [X] 错误在 最新版本 中尚未被修复。

问题类型

我正在使用官方支持的任务/模型/数据集进行评估。

环境

重现问题 - 代码/配置示例

重现问题 - 命令或脚本

重现问题 - 错误信息

Traceback (most recent call last): File "/alg_vepfs/private/zhaoyu/opencompass/run.py", line 346, in main() File "/alg_vepfs/private/zhaoyu/opencompass/run.py", line 298, in main runner(tasks) File "/alg_vepfs/private/zhaoyu/opencompass/opencompass/runners/base.py", line 39, in call self.summarize(status) File "/alg_vepfs/private/zhaoyu/opencompass/opencompass/runners/base.py", line 66, in summarize num_succeeded = len(status) - len(failed_logs) TypeError: object of type 'generator' has no len()

其他信息

最后的这个status是预期外的值,并不是

status (list[tuple[str, int]]): A list of (task name, exit code).
image image

需要注释掉后,可以正常运行

Sniper970119 avatar Nov 14 '23 07:11 Sniper970119