zhibisora

I will try it locally and if possible I will submit a pr.

I have the same problem and need help.

垂直能力-4-GPT-3.5-回答正确 垂直能力-6- -参考答案可能不准确, 联合国提到的数据应该是90% 参考链接 https://news.un.org/zh/story/2018/07/1013512 另外该题与 基础能力-4 重复, 这是可以的还是一个bug? 垂直能力-7-文心一言0427, MOSS-选项是蒙对的, 解释全错, 要求选择非同源, 实际选择了同源的, 而且还蒙对了选项 垂直能力-29- -题意不清晰, 产生的工作含义太笼统, 应该改为产生的产品数量最多

自我回复一下, 进行了部分测试, 包括全部垂直能力和部分基础能力, bart似乎不如gpt-3.5, 基础能力比gpt-3.5多错1题(在我测试的那些题目中), 垂直能力多错3题. 在垂直能力中 gpt-3.5共回答对19题, 正确率50% bart共回答对16题, 正确率42.1% 共大家参考