Real-Time User-Guided Image Colorization with Learned Deep Priors

[xchiex17]

カラーストロークを補助入力に用いた写真の(半)自動彩色手法

論文本体・著者

• Richard Zhang, Jun-Yan Zhu Phillip, Isola Xinyang Geng, Angela S. Lin, Tianhe Yu, Alexei A. Efros　（University of California, Berkeley)
• https://richzhang.github.io/ideepcolor/
• SIGGRAPH 2017

解きたい問題

論文 Eq (1)

新規性

• (ディープ)ネットワークにユーザからのカラーヒント情報を用いることで着色を行う
• ユーザのインプット情報に合わせたカラーパレットを推薦する
• 短時間で自然な色付け結果を得られる
• 自然な色付けを目指すけど、現実的になかなかなさそうな色でもヒントを与えれば塗ることができる

実装

• メイン色付けネットワークはU-Netで畳み込み層は10層

• ユーザによって入力されたヒントに関して2種類で表現

  • local hints
    • 
    • ab色空間で表現されたパッチあたりの平均色で表現
  • global hints
    • 
    • ab色空間のカラーヒストグラムとHSV色空間の彩度Sで表現

• Loss function

  • class rebalancing from (Zhang et al. 2016)
  • GAN term from (Isola et al. 2017)
  • smooth-ℓ1 (or Huber) loss

実験・議論

Results

論文 Fig. 4 より

• 与えたカラー情報に対応する適切な色付けがなされている。
• 最後の2行は良くない例。

論文 Fig. 7より

• なかなかない色付けも意図通りにされている 。

Limitation and future work

• 色が反映されるようにはなったが、色がうまく伝搬されなかったり滲み出しが起きたりすることもある(Fig4の最後2行)
• ユーザインプットをよりよくシミュレーションするためにデータをインプットのデータを解析している(今はランダムにヒントを生成し訓練)

読んだ中での不明点などの感想

• 入力白黒画像とヒストグラム参照画像が結構違うものでも沁みだしがLearning Representations for Automatic Colorizationよりかなり減っているのが印象深かった。
• しかし意図した色を取れてないものもあったのがなるほど感がある。

関連論文

Learning Representations for Automatic Colorization http://people.cs.uchicago.edu/~larsson/colorization/