ms-swift icon indicating copy to clipboard operation
ms-swift copied to clipboard

Published 20 hours ago • verified publisher icon modelscope

Eval 模块使用时 C-Eval 进行测试时，让人不确定日志输出

Open ShuMengZ opened this issue 9 months ago • 1 comments

Describe the bug Eval 模块使用时 C-Eval 进行测试时，会大量重复出现 [INFO:modelscope] dataset_type: 1 [INFO:modelscope] dataset_type: 1 [INFO:modelscope] dataset_type: 1 image 这让我怀疑程序是否卡死，直到想起C-Eval拥有大量推理科目时才明白程序在做什么

希望能优化这个问题

ShuMengZ avatar May 10 '24 10:05 ShuMengZ

正常情况只log一次dataset_type； 但是如果像mmlu、ceval这类有几十个subset的情况，每个subset都会打印一次。最新的modelscope master分支已删除该log；后续小版本1.14.1会自动更新。

wangxingjun778 avatar May 14 '24 07:05 wangxingjun778

目前已经使用opencompass进行评测，此问题不复存在

tastelikefeet avatar Aug 28 '24 02:08 tastelikefeet