提供的本地数据集文件夹结构有误，无法直接使用

[thewangcj]

https://modelscope.oss-cn-beijing.aliyuncs.com/open_data/benchmark/data.zip 解压后 ceval 的路径为 data/ceval，而 ceval_adapter 中加载的路径为 data/modelscope/ceval-exam，需要手动修改才能正常加载本地数据集。 建议更新托管数据集。

[wangxingjun778]

指定data.zip里的数据作为评测数据，应该是本地模式才生效，需要指定：--dataset-hub Local

参考readme中给到的示例如下： python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10

[Double-bear]

指定data.zip里的数据作为评测数据，应该是本地模式才生效，需要指定：--dataset-hub Local

参考readme中给到的示例如下： python llmuses/run.py --model ZhipuAI/chatglm3-6b --datasets arc --dataset-hub Local --dataset-dir /path/to/workdir/data --limit 10

你好，指定了--dataset-hub Local也不对，需要手动修改

[betasspace]

目录指定确实不好用，特别是ceval这种包含子目录的，简直炸裂，不改地址就空等，改地址就说地址错误 但arc是可以用的

[Yunnglin]

请参考基础使用指南

由于长时间未收到活动，我们将关闭此问题。如果您有任何疑问，请随时重新打开它。如果EvalScope对您有所帮助，欢迎给我们点个STAR以示支持，谢谢！