PQCache
PQCache copied to clipboard
关于 InfiniteBench 测试集 pq结果与论文差异的咨询
您好,
我在复现您论文中的实验时遇到了一些问题,想向您请教一下。 我使用了 pq方法在 InfiniteBench 测试集上进行评测,但结果与论文中报告的数值差异较大。例如,在 Retr.PassKey 任务上,论文中的得分为 100,而我复现的结果仅为 37.63。
我的主要实验参数如下:
压缩率(compression ratio):0.1
recent 比例:0.2
其他参数均为默认配置。
另外,我在相同配置下运行 full attention 方法时,结果表现正常,因此我怀疑可能是 InfiniteBench 相关代码或配置有所不同。
请问您是否方便提供 InfiniteBench 实验部分的代码 或者 复现实验的具体说明? 非常感谢您的时间与帮助!