Non-local_pytorch icon indicating copy to clipboard operation
Non-local_pytorch copied to clipboard

少批量数据有用,大批量数据无效

Open guanyonglai opened this issue 5 years ago • 1 comments

我把non-local 用在reid上面的,在resnet50的前三个layers后面都接了non-local层。用1000个ID进行训练是发现能提高一个点,而且收敛速度比原来快,但是当我用5000个ID训练时发现结果比原来低了一个多点。是不是有哪些参数我需要再调一下?烦请解答哦 PS:我没有发现其他网友提出的W权重为0的情况,我这边W还是挺正常的

guanyonglai avatar Aug 03 '20 03:08 guanyonglai

Hi @guanyonglai . 我没有做过reid的实验,因此不太确定(我猜测可能是跟数据有关)。 我做过其他研究方向的实验,在有些数据集上加入non-local block确实性能会更差一些。

AlexHex7 avatar Aug 20 '20 10:08 AlexHex7