[38] Object-Aware Cropping for Self-Supervised Learning

[dhkim0225]

paper code

SSL 할 때, random crop 똑똑하게 해서 성능향상 꾀하자. ImageNet 같이 curation 잘 된 데이터랑 다르게 openimage 나 coco 같은 set은 정중앙에 object가 없는 경우도 많다. 단순 random crop 하면 구릴 수 밖에 없다.

openimages set 에 대해 random crop 을 수행하면 얼마나 gt 가 잘려나가고,, 하는 지 실험들이 있는데 생략하고, 방법론으로 넘어간다.

Approach

물체 주변의 context 가 SSL 에 도움이 된다고 가정한다. (scene-object correlation) object awareness 를 위해서 3가지 모델을 고려한다.

1. BING - pascal voc 학습 버전
   1. fixed window 에 norm of gradient 를 구해서 cascaeded SVM 에 넣는 방식임
   2. class label 안 쓰임, infernce 빠름
2. Edge-Boxes - pascal voc 학습 버전
3. unsupervised object proposal method

4가지 crop 을 구성했음

1. Dilated object proposals (Obj-Obj+Dilate Crop)
   1. 첫 번째 view 는 BING proposal
   2. 두 번째 view 는 첫번 째 view 를 image-size 의 10% 나 20% 만큼 dilation 시켰음
   3. 실험결과로도 보여주겠지만, 이게 제일 좋음
2. Scene-Scene Crop
   1. 기존 CL 에서 사용하는 방식과 같음
   2. random crop 으로 하나의 이미지에서 2개의 view 가져와서 positive pair 로 본다.
3. Shifted object proposals (Obj-Obj+Shift Crop)
   1. obj-obj+dilate 와 약간만 다름
   2. 첫 번째 crop (BING proposal) 에서 random value 만큼 shift 시킴. (80~120 pixel)
4. Random crop (Obj-Scene Crop)
   1. 첫 번째 view 는 BING
   2. 두 번째 view 는 random crop

Results