VLMEvalKit icon indicating copy to clipboard operation
VLMEvalKit copied to clipboard

OCRVQA、GQA数据集的prediction里跟有.句号,导致准确率为0

Open WalkerWorldPeace opened this issue 9 months ago • 2 comments

不知道为什么,模型在OCRVQA、GQA数据集评测时,提取的prediction里跟有.句号,导致准确率为0。请问该如何解决?

Image

WalkerWorldPeace avatar Mar 11 '25 06:03 WalkerWorldPeace

@WalkerWorldPeace 您好这是哪一个模型评测的结果呢,我们这边尝试复现一下

FangXinyu-0913 avatar Mar 12 '25 05:03 FangXinyu-0913

@WalkerWorldPeace 您好这是哪一个模型评测的结果呢,我们这边尝试复现一下

我在测试 https://huggingface.co/HaochenWang/ross-qwen2-7b 时碰到了类似的问题

Purshow avatar Mar 22 '25 17:03 Purshow