关于internvl2.5 8b的benchmark结果

[yunzhuzhang0918]

请问internvl 2.5 8b的一些video benchmark，videomme, mlvu, longvideobench是怎么测试的？ 我使用lmms_eval测试这些benchmark的64帧结果，发现与官方report差了很多 longvideobench val total只有57.21%，而官方是60% videomme是62.7，而官方是64.2% mlvu是66.1%，而官方是68.9%

一些setting的细节lmms_eval应该没有和官方使用的测试代码对齐 期待回复

[shepnerd]

你可以自己调一调测试的prompt等。一些输入帧数或者分辨率估计他们没太调整，但prompt啥的可能有调整。目前bench其实都是权宜之计，它们性能不是很一致，prompt调一调可能性能就有几个点的波动