paper_readings cGAN-based Manga Colorization Using a Single Training Image

cGAN-based Manga Colorization Using a Single Training Image

Open xchiex17 opened this issue 7 years ago • 0 comments

参照画像１枚とcGANによるマンガの自動着色

論文本体・著者

著者

Paulina Hensman (University of Tokyo)
Kiyoharu Aizawa (University of Tokyo)

論文情報

https://arxiv.org/abs/1706.06918

解きたい問題


論文 Figure.1 より
参照画像１枚と入力モノクロ(グレースケール)漫画をから(b)のような自動着色結果を得る。

新規性

参照画像１枚だけでの漫画の自動着色
少ないデータセットでの漫画の自動着色 (pre-trainなし、学習も1枚だけ)
後処理において漫画に特化した手法を改良を加えることで、cGANによる自動着色+後処理だけで修正なしで自動着色を実現

実装

システム概要


論文 Figure.2 より

0．cGANによるトレーニング
------Colorizaion------
1．cGANによる自動着色
----Post-processing----
2．スクリーントーン除去
3．セグメンテーション
4．セグメントごとの色選出
5．彩度を上げる
6．色の量子化で使用色数を厳選
7．影付の上乗せ

学習データペア

過去手法[1]を使って、スクリーントーン除去。
スクリーントーン除去の際の各パラメタの調整はユーザ依存。

着色ネットワーク

pre-trainなし
1枚の画像のみでトレーニング
pix2pix[2]を使って自動自動着色。
ただし、1枚トレーニング練画像しか使わないので着色結果は、参照画像と塗る画像のキャラクタ描画領域が同じであるほうがよい。
(コミカラも最初顔クロップだけの方が絵がよりきれいだったのでこの主張はすぐに納得がいく)
描画範囲を合わせるために、参照画像は全身があれば、そこから適宜クロップできる。

後処理

自動着色だけだとアーティファクトが多い＋漫画は本来ぱっきり領域が分かれている(べた塗りな)はず ⇒スクリーントーンを分けてセグメンテーションを行い、セグメントごとに処理を加える。

セグメンテーション

過去手法[3]に基づいた漫画着色用に改良したアルゴリズムを用いる
過去手法は、線が途切れていることもあるという漫画特有の特徴も考慮したセグメンテーション手法
改良点は、最初の類似色は隣接領域という前提によるステップをスキップすること

4つの後処理

①セグメントごとの色選択
色は、セグメントごとの対応ピクセルのRGBでの平均色でべた塗り。

②彩度の調整
ユーザによるHSVカラースペースでの彩度の調整。

③カラー量子化
同じオブジェクトなのに領域(および色)が不自然に分かれている場合の修正。
色数kでk-meansして各クラスタの中央値を採用する。色数kはユーザ入力。


論文 Figure.7 より
左がカラー量子化前、右がカラー量子化後。
左でお腹が胸と、太ももが左右の足で異なっているのを全部顔・胸部分の色と同じにしている。

④影のせ
除去したスクリーントーンなどの影を上乗せする。そのまま乗せると浮くので、ガウシアンブラーを掛けてぼかしたり、トーン重複領域の色を暗くする調整も含めている。

実験・議論

Results


論文 Figure.7 より


論文 Figure.11 より	論文 Figure.13 より
	左はcGANで右はStyle Transfer

cGANのみの着色結果やStyle Transferなどの着色結果よりも、断然色のにじみの少なさや適切な色選出・彩度が出来ている点で提案手法が優れていることが確認できる。


論文 Figure.6 より
対角線より上にあると色数が足りないし、下では色数が多くて無理に使おうとするので結果が悪くなる。

良く塗られているが、自動着色の着色結果は、どれも彩度が低く感じてしまう。
- 少なくともこの研究は、カラー量子化の際の影響？
- 平均色を採用するのが最頻色(prominant color)よりよかったことは言及されていた。
- Fig.6(e)の方が綺麗だと感じてしまうのは隣り合う領域の色の明暗のメリハリか？主観なので何とも言えない。
トーンは色付けのヒントにもなるので、トーンがある方が色が正確に塗れる場合が多い。
- アニメからとってきたFig.11はトーンがあまりない例。
  - 空や建物がいい。特に髪の毛は位置が変わってるのにきちんと赤で着色できている。
  - しかし服が意図と異なる
トーンがあると、トーン除去の除去できなかった残りの影響で、着色結果が陰影のトーンの周りに現れることがある。
- Fig.11のようにトーンがないものはその影響が少ない。
  - 代わりにトーンがないと陰影がない結果になる。
- そこでFig.9 のようにトーン有とトーン無両方を用いることで、アーティファクトが少なく且つ影付のある結果を生成できる。

Limitation & Future work

segmentationがうまくいかないこともある。
データセットが小さいから、今でも学習は早いけど、描画領域ごとに訓練を分けた方がより早く、綺麗になるかもしれない。

読んだ中での不明点などの感想

設定すべきパラメタは多いが、どれくらいでうまくいった等の範囲を細かく明記してくれているのは親切に感じた。

paper_readings
paper_readings copied to clipboard

cGAN-based Manga Colorization Using a Single Training Image

論文本体・著者

著者

論文情報

解きたい問題

新規性