High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis

[Hiroshiba]

最初に低解像度な画像で修復して拡大し、周囲の画像とVGG特徴量が近くなるように入力画像を最適化する。これを拡大と最適化を繰り返すことで高解像な画像修復をする。

論文本体・著者

• Chao Yang, Xin Lu, Zhe Lin, Eli Shechtman, Oliver Wang, Hao Li
• https://arxiv.org/abs/1611.09969
• CVPR2017

解きたい問題

新規性

論文 Fig. 1 より

• contextual structuresを維持しつつ、高解像度な合成ができた

実装

論文 Fig. 2 より

• 最初に、低解像度で修復箇所を推定
  • 学習はadversarial lossとMSE loss
• 修復した画像をアップサンプルし、損失関数に従って画像を最適化する
  • 損失関数は、全体的な制約と、局所的な制約がある
  • 全体的な制約は、アップサンプル前の画像とのMSE
  • 局所的な制約はNeural Patchに似ている
    • 学習済みのVGG19にして特徴量Φを得る
    • 修復箇所のΦ1と、修復箇所以外のΦ2を求める
    • Φ1とΦ2のMSEを制約とする
      • Φ2は、Φ1から距離的に近く、かつ値も近いものを選択する
• アップサンプルと最適化を繰り返すことで、高解像度な修復画像を合成する

実験・議論

論文 Fig. 4 より

• 高解像度な画像修復ができている
• 他にも様々な画像に用いた結果が紹介されている

読んだ中での不明点などの感想

• 特に目新しい手法は無かったように思える

関連論文

• 画像修復はGANを使ったすごそうなのが出たので注目したい
  • ディープネットワークによるシーンの大域的かつ局所的な整合性を考慮した画像補完

[kogaki]

content networkの学習方法が面白かったりするのでしょうか

[Hiroshiba]

いえ、content networkはautoencoder+GANで、特に珍しい部分は無さそうでした。 論文を全体的に見て、徐々に高解像度にしていく発想が面白いと感じました。