LongBench icon indicating copy to clipboard operation
LongBench copied to clipboard

数据集问题:ID 66f39ac5821e116aacb2da81 的答案无法在 context 中找到

Open xcczach opened this issue 7 months ago • 1 comments

您好, 在使用 LongBench-v2 数据集进行实验时,我发现如下样例存在问题: 样例信息: ID: 66f39ac5821e116aacb2da81 领域: Code Repository Understanding 子领域: Code repo QA 难度: easy 长度: short 问题: Which external solvers can be used in AMReX software? 选项: A: BoomerAMG and SMG from the HYPRE library B: Krylov subspace solvers from the PETSc library C: PFMG from the HPGMG library D: All of the above solvers 标准答案: B 主要质疑点: 经过仔细查阅该样例的 context 内容,我发现 context 中并未包含能够直接或间接推断出标准答案(B)的相关信息。具体来说说,context 里没有提及 Krylov subspace solvers或BoomerAMG and SMG,仅有HYPRE和PETSc在代码中出现。 因此,我认为模型无法仅依靠 context 给出正确答案。 期望的回复: 请确认该样例的 context 是否存在遗漏或标注错误。 如果 context 本身就无法支持问题的解答,建议修正该样例或将其从数据集中移除。 感谢您的工作和回复!

xcczach avatar May 13 '25 05:05 xcczach

谢谢你的观察!我们会在日后推出verified版本数据集,将答案有误的题目改正。

bys0318 avatar May 22 '25 04:05 bys0318