deepAICrazy
deepAICrazy
谢谢作者开源了代码。 但是在复现过程中，发现了和之前工作不一样的dataset操作，即把训练集当中包含novel class的图片去掉了。 但是在之前的工作（如HSNet、PFENet）当中，训练集当中包含novel class的图片中的novel class是被设置为背景的。 BAM这样的操作理所当然 会使得 在测试时对novel class的检出能力更强，因为训练没有将这些novel class设置为背景，但是和之前方法不一样的操作导致对比严重不公平。 在最近的一篇被nips 22接受的文章（Singular Value Fine-tuning: Few-shot Segmentation requires Few-parameters Fine-tuning）里头的table1、2中指出：使用BAM的策略（images from training set containing the novel class on test set...
谢谢作者的回复。**请不要强行关闭没有完成的issue**（https://github.com/chunbolang/BAM/issues/44） 首先把novel类别设置为背景，并不会导致信息泄露，并且这一个操作是之前fewshot seg里头所有工作都沿用的。**如果影响很小，我们认为完全没有必要加上这一个可能会带来不公平对比的有争议的操作。** 此外，我们基于resnet50的主干网络，花了一些时间复现了在pascal上边的结果（把包含novel的图片保留于训练集，但是设置为背景）。结果如下： 1shot： 67.85； 71.20； 58.30； 61.39 **平均结果仅为：64.7** 5shot： 68.65; 73.47；66.79； 63.76 **平均结果为： 68.16** 可以发现，**和之前所有论文的setting保持完全一致后，在第三个split上BAM的结果暴跌了十多个点，导致1-shot最后结果比论文中报的67.81低了3.1个点，这在小样本分割领域当中算是一个很大的性能差异了**。 从SVF最近更新的文章(https://arxiv.org/pdf/2206.06122.pdf)的Table1里头 能看出来，把这个trick（在训练时丢掉包含novel类别的图片）用在pfenet以及BAM上边，均能带来三个点的提升（SVF复现的BAM结果为64.59）。与我们这次实验的结论接近：这个trick能带来较大性能提升。 如果按照当时22年投稿的情况来看，**1-shot结果和在21年早期的sota HSNET是接近的，5shot结果甚至不如hsnet（69.5）**，如果没有这个trick带来的接近3个点性能提升，**在当下这么卷比拼性能的情况下，别说中oral了，可能中稿都存在一定变数。** --------------------------以下是上一个issue的内容（https://github.com/chunbolang/BAM/issues/44） 谢谢作者开源了代码。 但是在复现过程中，发现了和之前工作不一样的dataset操作，即把训练集当中包含novel class的图片去掉了。 但是在之前的工作（如HSNet、PFENet）当中，训练集当中包含novel class的图片中的novel class是被设置为背景的。 BAM这样的操作理所当然 会使得...