Donghyun Kim

MTL 할 때, 간단하고 scalable 한 causal representation learning 제안. 기존 MTL 에 그냥 붙일 수 있고, 모델이 robust 해짐 [paper](https://arxiv.org/pdf/2202.04136.pdf) ## Introduction OOD set 에서도 잘 동작할 수 있게...

나약한 나. 지난 1달간 대규모 리팩토링으로 굉장히 바빴다. 물론 핑계다. 논문 한 편 읽을 시간은 얼마든지 낼 수 있었다. 정신력이 부족한 것. 반성하며 재시작. =============================================================== [paper](https://arxiv.org/pdf/2202.05508.pdf) 기존 e2e pipeline 은...

[paper](https://arxiv.org/pdf/2201.05119.pdf)  ResNet50 에 width [1x, 2x, 4x] , ResNet200 width 2x 결과. ResNet50 에서 label 없이 ImageNet을 뚫은 첫 결과. ## RELIC v1  style과 content와 이미지-레이블의 인과 그래프에...

설날 연휴를 맞아, 밀렸던 논문읽기 ...! [paper](https://arxiv.org/pdf/2201.02177.pdf) 무지무지 신기한 paper. 학습을 오래 돌리면 결국 generalization 이 된다고 주장.  첫 번째 그림을 보면, 모델이 overfitting 된 걸 확인 할 수...

[paper](https://scontent-ssn1-1.xx.fbcdn.net/v/t39.8562-6/271974914_483120576492438_4239522333319653600_n.pdf?_nc_cat=107&ccb=1-5&_nc_sid=ae5e01&_nc_ohc=4-cMR5tUq4QAX-P3LNk&_nc_ht=scontent-ssn1-1.xx&oh=00_AT8YsMgdJQi2FjSwl85tjXB9bJaW1oEq5xWupPhghxo5pQ&oe=61F1FD91) [code](https://github.com/pytorch/fairseq/tree/main/examples/data2vec) [blog](https://ai.facebook.com/blog/the-first-high-performance-self-supervised-algorithm-that-works-for-speech-vision-and-text/) wav2vec 2.0 저자의 논문. speech, vision, language 를 모두 mask prediction 을 하는 task 로 pretraining 하는 논문 speech 든 vision 이든 language 든 모두 Mask prediction이...

 unlabelled 데이터 셋에 - labeled 데이터 셋의 카테고리에 해당하는 이미지도 있고, - 새로운 카테고리의 이미지도 섞여 있을 때 unlabelled data를 categorize하는 문제 정의. Generalized Category Discovery (GCD) 라고 부름...

[paper](https://arxiv.org/pdf/2201.02605.pdf) [code](https://github.com/facebookresearch/Detic) Image-level supervision 이용한 20000 개 class detection?!?! LVIS dataset 에서 놀라운 성능향상 보임 (무려 41.7 mAP)  # INTRO  기존 open-set detection 을 위한 학습들은, model 의...

 open-segmentation 을 수행하는 논문 [paper](https://arxiv.org/pdf/2112.12143.pdf) # Method 방법은 생각보다 간단하다. 1. supervised 모델 훈련 1. caption 중 명사만 뽑아서 word encoder (pre-trained ALIGN BERT-Large) 돌림 2. Learning Segmentation masks...

swin transformer 이상의 성능을 발휘하는 CNN flops 뿐만 아니라 실제 추론 속도도 빠름 도대체 transformer 가 무엇 때문에 좋을까? 하는 의문들이 많이 생기던 와중에 (#47) 종지부를 찍어준 논문이라고 생각함 [paper](https://arxiv.org/pdf/2201.03545.pdf)...

[paper](https://arxiv.org/pdf/2110.14189.pdf) [code](https://github.com/SongweiGe/Contrastive-Learning-with-Non-Semantic-Negatives) # Abstract CNN 은 low-level feature에 의존한다. image perturbation 이나 domain shift 에 대한 robustness 가 없어서 그런 걸로 추정되고 있다. 보통 CL 은 semantic information 은 보존하면서...