BAM
BAM copied to clipboard
chunbolang
【实验结果】与之前方法的严重对比不公平 (Extremely unfair comparison with previous methods caused by different dataset processing methods)
谢谢作者的回复。请不要强行关闭没有完成的issue（https://github.com/chunbolang/BAM/issues/44）
首先把novel类别设置为背景，并不会导致信息泄露，并且这一个操作是之前fewshot seg里头所有工作都沿用的。如果影响很小，我们认为完全没有必要加上这一个可能会带来不公平对比的有争议的操作。
此外，我们基于resnet50的主干网络，花了一些时间复现了在pascal上边的结果（把包含novel的图片保留于训练集，但是设置为背景）。结果如下：
1shot： 67.85； 71.20； 58.30； 61.39 平均结果仅为：64.7 5shot： 68.65; 73.47；66.79； 63.76 平均结果为： 68.16
可以发现，和之前所有论文的setting保持完全一致后，在第三个split上BAM的结果暴跌了十多个点，导致1-shot最后结果比论文中报的67.81低了3.1个点，这在小样本分割领域当中算是一个很大的性能差异了。
从SVF最近更新的文章(https://arxiv.org/pdf/2206.06122.pdf)的Table1里头 能看出来，把这个trick（在训练时丢掉包含novel类别的图片）用在pfenet以及BAM上边，均能带来三个点的提升（SVF复现的BAM结果为64.59）。与我们这次实验的结论接近：这个trick能带来较大性能提升。
如果按照当时22年投稿的情况来看，1-shot结果和在21年早期的sota HSNET是接近的，5shot结果甚至不如hsnet（69.5），如果没有这个trick带来的接近3个点性能提升，在当下这么卷比拼性能的情况下，别说中oral了，可能中稿都存在一定变数。
--------------------------以下是上一个issue的内容（https://github.com/chunbolang/BAM/issues/44） 谢谢作者开源了代码。 但是在复现过程中，发现了和之前工作不一样的dataset操作，即把训练集当中包含novel class的图片去掉了。 但是在之前的工作（如HSNet、PFENet）当中，训练集当中包含novel class的图片中的novel class是被设置为背景的。 BAM这样的操作理所当然 会使得 在测试时对novel class的检出能力更强，因为训练没有将这些novel class设置为背景，但是和之前方法不一样的操作导致对比严重不公平。
在最近的一篇被nips 22接受的文章（Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning）里头的table1、2中指出：使用BAM的策略（images from training set containing the novel class on test set were removed），即使是几年前的PFENet都能取得和BAM 接近甚至一些情况下比BAM更优的结果。 甚至可以推测，如果把novel class当作背景来训练，可能BAM的方法本身的效果就大大降低，拉不开与当时同期工作的性能差距。
由于审稿人审稿过程不强制代码开源无法知道这个操作，这个可能对后续工作会有严重的误导作用，进而沿用这一导致不公平对比的操作。 请问作者对这个不公平的对比有何解释吗？
pfenet上的试验，SVF的作者已经验证了。您有兴趣可以去看看原文。
没有这个trick，BAM比不过早大半年的方法HSNet这也是事实。 因为这样一个操作，对我们后面投稿造成了很大的影响。审稿人要求我们不得不比sota，但是目前的“sota” 却是有问题的。