MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard

Published 20 hours ago • verified publisher icon OpenBMB

关于3b模型在MME上精度结果不一致问题

Open sundayKK opened this issue 1 year ago • 1 comments

我下载了3b模型跑了官方的MME测试集，使用prompt为官方的默认prompt，算出来的分数为1378.67，和给出的1452差别较大。请问是测试结果使用的prompt不一致导致的吗？

sundayKK avatar Mar 22 '24 04:03 sundayKK

您好，请问方便给出您使用的具体代码吗，方便我们排查可能的问题，感觉可能是模型精度或者生成参数不同导致的

Cuiunbo avatar Apr 12 '24 04:04 Cuiunbo