Joint Gap Detection and Inpainting of Line Drawings

[xchiex17]

DNNを用いた線画の欠損の自動補間

論文本体・著者

• Kazuma Sasaki
• Satoshi Iizuka
• Edgar Simo-Serra
• Hiroshi Ishikawa
  (全員早稲田大学)
• http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/
• CVPR 2017

解きたい問題

論文 Fig. 1 より

新規性

• 全自動で行われる
• 線の太さなどがinputに対して自然なものが生成される
• とても小さなデータセットでこれらのことを実現した

実装

ネットワーク

論文 Table 1 より

• 16段のConvolutional層とUpsampling層４層で構成
• 全ての畳み込み層でReLU

データベース

60枚の画像からパッチのセットを作る

学習データペア

• 元のデータセットから意図的に欠損がある線画を用意
• 10～50pixの正方形10～20か所の欠損を含む欠損あり線画

実験・議論

結果

http://hi.cs.waseda.ac.jp/~iizuka/projects/inpainting/ja/

• 従来手法は欠損箇所をマスク（図中の紫領域）を使って指定する必要があるが、提案手法では欠損箇所を自動で検出し補完を行うことができている

評価

• 20人にユーザテスト
  • どれが自然にみえるか
  • 5点満点中4.2(過去手法は2.5,とか2.8)
• クオリティに関する５段階評価
  • 5点満点3.5～4.5(過去手法は1.8～3.8とか)
• 計算時間に関する評価
  • 512x512でCPUだと0.334s、GPUだと0.006sくらい
  • Image Meldingよりははるかに早い
  • CPUではPatch MatchでMask50%のとき同様くらい
  • GPUでの比較は提案手法が大きく速い

リミテーション

• 複数の図形の線が欠損箇所に混在する場合は、難しい

読んだ中での不明点などの感想

• 定性評価と定量評価が毎回整っている印象
• 学習ペアが作りやすい一方、実用性が高い良いテーマだと感じる

関連論文

[kogaki]

同じグループの論文 https://github.com/DwangoMediaVillage/paper_readings/issues/9