Scribbler: Controlling Deep Image Synthesis With Sketch and Color

[xchiex17]

DNN＋色ストロークを使ったスケッチからフォトリアリスティックな画像合成

論文本体・著者

著者

• Patsorn Sangklo (Georgia Institute of Technology)
• Jingwan Lu (Adobe Research)
• Chen Fang (Adobe Research)
• Fisher Yu (Princeton University)
• James Hays (Georgia Institute of Technology)

論文情報

• http://scribbler.eye.gatech.edu/
• CVPR 2017

解きたい問題

論文 Eq (2)
Lp : the average per-pixel L2 difference.
Lf : the L2 difference in a feature space, where a feature is extracted from a certain layer of a pre-trained neural network representing highlevel information of images.
Ladv : an adversarial loss.
Ltv : a total variation loss.

新規性

• ソースをグレースケール画像に焦点を当てたものが多い中、スケッチに対して画像合成を行った
• 過去手法ではCNNで全自動で色が決めていたため、一部所望の色付けが得られなかったが、任意の物体の色を任意の色に指定できるようにした

実装

ネットワーク

• 3段階のダウンサンプリング
• 7つのレジディアルブロック
• 3つのアップサンプリングからなるエンコードデコーダ
• GAN

学習データペア

170万枚枚

• スケッチは最初XDoGを使って、写真から生成
• その後にスケッチからの合成にロバスト性を生むために色んな複数のスケッチを混ぜる

カラーストローク対応用の学習データペア

• カラーストロークに対応するために、学習時にカラーストロークを自動生成して用いた
• カラーストロークは正解のカラー画像から色を取り、疑似的に生成

実験・議論

Results

http://scribbler.eye.gatech.edu/img/results/stroke2photo_gen.png

• ストロークがないものを見ると彩度の低そうな色を選んでいることがわかる
• ヒントを入れてるものは適切にカラーストロークの色を反映できている

Limitation & Future work

• 色の滲み出し問題 (the color leaking problem)が発生することがある(Fig.7の車の例など)
• カラーストロークによる、 ground-truthとのlossとadversarial lossの最小化のコントロールが難しい
• データセットの問題で訓練中と同様のスケールのオブジェクトしか実験をしていない

読んだ中での不明点などの感想

• 評価が特になかった、珍しいと思った

関連論文

色ストロークを用いた写真の自動彩色 https://github.com/DwangoMediaVillage/paper_readings/issues/8