LongBench icon indicating copy to clipboard operation
LongBench copied to clipboard
verified publisher icon THUDM

为什么推理的时候推多次总有100多条样本 答案为空

Open llllllaz opened this issue 3 months ago • 3 comments

没改pred.py的逻辑，只修改为本地读取模型，使用qwen2.5-instruct，但是推理多次，总有100多条样本答案为空，请问这是为啥啊？

llllllaz avatar Sep 28 '25 06:09 llllllaz

没改pred.py的逻辑，只修改为本地读取模型，使用qwen2.5-instruct，但是推理多次，总有100多条样本答案为空，请问这是为啥啊？

同样的问题

Andy0422 avatar Sep 29 '25 07:09 Andy0422

是不是长度超过模型支持的长度了？

mikasa955 avatar Oct 27 '25 06:10 mikasa955

是不是长度超过模型支持的长度了？

输入已经做过截断处理了，qwen模型会出现这种情况，换成GLM的好很多。

llllllaz avatar Oct 27 '25 07:10 llllllaz