Context Encoders: Feature Learning by Inpainting

[kogaki]

画像補完タスクを用いて教師なし画像表現学習

論文本体・著者

• project: https://people.eecs.berkeley.edu/~pathak/context_encoder/
• code: https://github.com/pathak22/context-encoder
• Deepak Pathak, Phillip Krähenbühl, Jeff Donahue, Trevor Darrell, Alexei A. Efros

解きたい問題

• 教師無しで画像の表現学習をしたい
  • 転移学習に使えるもの

新規性

論文 Fig. 1

• 画像の補完という、自分自身で教師データが作れるタスクで画像の表現が学習できる

実装

• Encoder -> チャンネルごとのMLP -> Decoder という素直なモデル
• ロスは L2 + Adversarial

実験・議論

論文 Fig. 8

• hand-craftな特徴や、classificationのタスクで学習したものより、パーツや構図が近いものが出てくる

読んだ中での不明点

• inpaintの学習にGANを入れてるけど、Feature Learningの目的に寄与するんだろうか

関連論文