DPGN
DPGN copied to clipboard
megvii-research
关于测试样本每类数目随机抽取的打乱测试
您好！ 您有没有试过类似于（1,1,2,3,4）,（0,0,2,2,3）这种每类不是固定取一个的测试方法呢？我在您的模型上进行这样的测试发现准确率会降低很多。实际上egnn进行这种测试准确率也会降低很多，是不是学习到了一些先验知识呢？
您好！ 您有没有试过类似于（1,1,2,3,4）,（0,0,2,2,3）这种每类不是固定取一个的测试方法呢？我在您的模型上进行这样的测试发现准确率会降低很多。实际上egnn进行这种测试准确率也会降低很多，是不是学习到了一些先验知识呢？
您好 我目前在做这方面的问题时遇到了一些问题 请问作者需要的.pickle格式 MiniImageNet 数据集应该是什么格式呢 能不能把您处理miniImageNet数据集的代码分享一下 谢谢！ 我的邮箱是[email protected]
您好！ 您有没有试过类似于（1,1,2,3,4）,（0,0,2,2,3）这种每类不是固定取一个的测试方法呢？我在您的模型上进行这样的测试发现准确率会降低很多。实际上egnn进行这种测试准确率也会降低很多，是不是学习到了一些先验知识呢？
你好, 我们没有试过这种测试方法. 这种setting在训练时可能会导致类间信息的减少, 这也许是你实验结果下降的一个原因. (0, 1, 2, 3, 4)的测试方法(或shuffle后的比如(0, 3, 1, 2, 4)这种)是FSL里标准的测试机制.
关于你提到的"先验知识". 我们认为可以归纳为两种, 第一种是顺序固定, 第二种是种类固定 (固定选出N个不同的种类).
- 关于第一种, 我们做过实验, DPGN在shuffle的设置下的性能并没有显著差别.
- 关于第二种, 在当时并没有很多相关讨论. 今年也出现了一些工作对第二种情况提出了新的看法, 我们会持续关注这方面的工作.
DPGN team
您好！ 您有没有试过类似于（1,1,2,3,4）,（0,0,2,2,3）这种每类不是固定取一个的测试方法呢？我在您的模型上进行这样的测试发现准确率会降低很多。实际上egnn进行这种测试准确率也会降低很多，是不是学习到了一些先验知识呢？
您好 我目前在做这方面的问题时遇到了一些问题 请问作者需要的.pickle格式 MiniImageNet 数据集应该是什么格式呢 能不能把您处理miniImageNet数据集的代码分享一下 谢谢！ 我的邮箱是[email protected]
你好, DPGN用到的miniImageNet数据集为了保持一致性, 是从这里获取的, split方案在readme中有写. 数据集读取的代码可以在dataloader.py中查看
DPGN team
您好！ 您有没有试过类似于（1,1,2,3,4）,（0,0,2,2,3）这种每类不是固定取一个的测试方法呢？我在您的模型上进行这样的测试发现准确率会降低很多。实际上egnn进行这种测试准确率也会降低很多，是不是学习到了一些先验知识呢？
你好, 我们没有试过这种测试方法. 这种setting在训练时可能会导致类间信息的减少, 这也许是你实验结果下降的一个原因. (0, 1, 2, 3, 4)的测试方法(或shuffle后的比如(0, 3, 1, 2, 4)这种)是FSL里标准的测试机制.
关于你提到的"先验知识". 我们认为可以归纳为两种, 第一种是顺序固定, 第二种是种类固定 (固定选出N个不同的种类).
- 关于第一种, 我们做过实验, DPGN在shuffle的设置下的性能并没有显著差别.
- 关于第二种, 在当时并没有很多相关讨论. 今年也出现了一些工作对第二种情况提出了新的看法, 我们会持续关注这方面的工作.
DPGN team
感谢您的回复。 其实我个人猜测是学习到了“每类有且只有一个样本”这个任务结构的先验知识。我之前在对egnn测试的时候，将q从每类一个提升至每类三个，性能也会有较大的衰减。 您的工作实际很好，我并不是在对您的工作产生疑问，实际上我是感觉是否有可能egnn这种图结构适应的任务结构就是每类一个的任务设置呢？这种任务设置是否比一般的q=15的任务设置要求更为严苛？
实际上我是感觉是否有可能egnn这种图结构适应的任务结构就是每类一个的任务设置呢？
其中一部分原因我们推测是来自于大部分图结构在设计的时候没有很好地与query个数相兼容（可能会导致网络更加复杂，增加图传播的困难程度）。
这种任务设置是否比一般的q=15的任务设置要求更为严苛？
从我们目前的理解上说，是的。在每个batch内，q=1的信息要比q=15的少。如果能够合理利用q=15的全部信息，模型的效果可能会比q=1的要更好。
