月亮superman

I have the same problem, have you ever solved this problem?

你好： 才看到邮件哈。你的评测数据集是“对错”吗，如果是的话，我提供两条思路： 1、可以直接让模型生成回复，比如生成yes/ no； 2、可以拆解为2个选项，分别是 A. Yes B. No，这样也可以评测。 推荐你关注下opencompass的工作，应该可以学习到很多。 | | zhengxue1997 | | ***@***.*** | 签名由网易邮箱大师定制 在2023年11月1日 ***@***.***> 写道： 你好想请教一个问题，如果我想评测自己的数据集（微调之后，但是微调数据集就是问答对，并没有选择ABCD，这个需要怎么评估呢 — Reply to this email directly, view it...