LLaMA-Factory icon indicating copy to clipboard operation
LLaMA-Factory copied to clipboard

请问llamafactory-cli eval支持的评估方式有哪些?

Open moyaom opened this issue 9 months ago • 2 comments

moyaom avatar May 10 '24 08:05 moyaom

请参考 https://zhuanlan.zhihu.com/p/695287607 批量推理和eval部分

codemayq avatar May 10 '24 08:05 codemayq

eval 目前支持 mmlu cmmlu 和 ceval

hiyouga avatar May 10 '24 09:05 hiyouga

eval 目前支持 mmlu cmmlu 和 ceval

请问能不能支持自定义数据集(类似sharegpt格式)的评估?如果不能,能否给个思路修改源码来支持自定义数据集的评估?

jockeyyan avatar Jun 13 '24 02:06 jockeyyan