PQCache icon indicating copy to clipboard operation
PQCache copied to clipboard

关于 InfiniteBench 测试集 pq结果与论文差异的咨询

Open yuanjiayu1234 opened this issue 2 months ago • 0 comments

您好,

我在复现您论文中的实验时遇到了一些问题,想向您请教一下。 我使用了 pq方法在 InfiniteBench 测试集上进行评测,但结果与论文中报告的数值差异较大。例如,在 Retr.PassKey 任务上,论文中的得分为 100,而我复现的结果仅为 37.63。

我的主要实验参数如下:

压缩率(compression ratio):0.1

recent 比例:0.2

其他参数均为默认配置。

另外,我在相同配置下运行 full attention 方法时,结果表现正常,因此我怀疑可能是 InfiniteBench 相关代码或配置有所不同。

请问您是否方便提供 InfiniteBench 实验部分的代码 或者 复现实验的具体说明? 非常感谢您的时间与帮助!

yuanjiayu1234 avatar Nov 11 '25 06:11 yuanjiayu1234