BAM icon indicating copy to clipboard operation
BAM copied to clipboard

coco测试指标问题

Open WHL182 opened this issue 2 years ago • 2 comments

您好! 我想关于coco指标问题想向您请教一个问题,我加载了您提供的5-shot coco预训练权重,在test_num为1000的时候,我得不到您论文所给的结果,基本下降了3个百分点,在测试文件我也固定了随机因子,我将yaml文件的shot改为了5。我想问一下你论文中的结果是test_num为1000的结果还是多少?

WHL182 avatar Oct 09 '22 02:10 WHL182

1000个test sum太小,波动太大,通过这样得到的结果,和其它方法对比不同种子的话实验很不公平。

同样涉及不公平对比的问题,还请作者回答一下

https://github.com/chunbolang/BAM/issues/42

happycoding1996 avatar Oct 13 '22 16:10 happycoding1996

我一般采用随机选多个种子,多跑几次测试,最后取最高的

caoql98 avatar Jan 13 '23 13:01 caoql98