与之前方法的严重对比不公平 (Extremely unfair comparison with previous methods caused by different dataset processing methods)

[deepAICrazy]

谢谢作者开源了代码。 但是在复现过程中，发现了和之前工作不一样的dataset操作，即把训练集当中包含novel class的图片去掉了。 但是在之前的工作（如HSNet、PFENet）当中，训练集当中包含novel class的图片中的novel class是被设置为背景的。 BAM这样的操作理所当然 会使得 在测试时对novel class的检出能力更强，因为训练没有将这些novel class设置为背景，但是和之前方法不一样的操作导致对比严重不公平。

在最近的一篇被nips 22接受的文章（Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning）里头的table1、2中指出：使用BAM的策略（images from training set containing the novel class on test set were removed），即使是几年前的PFENet都能取得和BAM 接近甚至一些情况下比BAM更优的结果。 甚至可以推测，如果把novel class当作背景来训练，可能BAM的方法本身的效果就大大降低，拉不开与当时同期工作的性能差距。

由于审稿人审稿过程不强制代码开源无法知道这个操作，这个可能对后续工作会有严重的误导作用，进而沿用这一导致不公平对比的操作。 请问作者对这个不公平的对比有何解释吗？

[chunbolang]

感谢关注！

• 我们在投稿时提交了完整代码。
• 去掉包含新类目标的图片仅仅是为了防止新类信息泄露，并且在我们的实验结果中影响很小(code)，建议您实验后再做评判。
• BAM最主要的性能提升在于使用分割网络提供的预训练backbone，而不是这个所谓的trick。