Separation of Manga Line Drawings and Screentones

[xchiex17]

複数画像処理フィルタを用いた漫画のトーン除去

論文本体・著者

著者

• Kota Ito (University of Tokyo)
• Yusuke Matsui (University of Tokyo)
• Toshihiko Yamasaki (University of Tokyo)
• Kiyoharu Aizawa (University of Tokyo)

論文情報

• https://www.researchgate.net/publication/277653033_Separation_of_Manga_Line_Drawings_and_Screentones
• EUROGRAPHICS 2015

解きたい問題

論文 Figure.2 より
左上のinputから右下のような塗りつぶしやトーンを除去した画像を得る

新規性

• 輪郭線抽出という言い方ではなくて、トーンの除去という問題に対して取り組んでいるのが珍しそうだった印象
• 複数のフィルタを用いてあらゆる漫画特有のトーンの除去に対応している点
• あらゆるフィルタのパラメタを自動決定し、それらを用いて除去するアルゴリズムを提案している点複数の画像フィルタを少ないデータセットでの漫画の自動着色

実装

アルゴリズム

• 上で載せたFig.2参照のこと。
• screentone removal mask(Mrm)とedge preserning mask(Mlp)の二つのマスクを用いる。
• それらの結果の掛け合わせ

screentone removal mask(Mrm)

• LoG(Lapracain of Gaussian Filter) に基づく。
• 輪郭線検出は、主にソーベルやキャニーやラプラシアンが有名のはず。
  • ソーベルやキャニーは端的に言えば、平滑化と一次微分。ラプラシアンは二次微分。
  • ラプラシアンでノイズが強調される問題点をガウシアンフィルタをかけ平滑化した後，ラプラシアンフィルタをかけるのがLoG。
• 論文内で筆者らは、LoGフィルタリングの出力の2つの特性を見出した。
  （1）LoG値は線画で比較的高く、他の領域では低い。 （2）線画にほとんど属さない負のLoG値を有する画素。
• 負の値は0にして正の値だけをLoGの値を採用して出たものに対して、大津二値化をかける。

論文 Eq(1), Eq(2)より

アルゴリズムは以下のようになる。

• ガウシアンのウィンドウサイズは自動で決めるために、CCCとSTCという基準を採用する。
  • CCCはマスクの中でどれくらい黒い線がくっついてるかの割合。
    • この割合値の最大値より少し大きい値が最適になることが多いという結果になったとのこと。
  • STCはいつ止めるかの閾値。
• L12、L13は、黒塗りつぶしは太くなりすぎる傾向に対処。
  • L13は少し細めの線との掛け合わせ。
  • L12は「少し細め」の値決め。

edge preserning mask(Mlp)

• FDoG(Flow-based Difference of Gaussian) に基づいて行う。
• FDoGのパラメタは、基本は固定値を採用。
  • ただし元の線より小さい場合うまくいかない。
  • そのような場合はトーン除去フィルタのウィンドウサイズを元に決まる値を採用

二つのマスクの結果を下のようなアルゴリムで掛け合わせる。(併合する)

実験・議論

Results

定性評価と、定量評価としてgrand truthとの線をどれだけとれているかの割合。

定性評価

論文 Figure.5 より
確かに単純なフィルタと比べて、背景の細々としたトーンや、黒塗りつぶしがよく除去できている。

定量評価

論文 Table.1 より
どのフィルタよりも値が高い。

Limitation & Future work

論文 Figure.7 より
密集した長い曲線のトーンは取り除くのが難しい。そもそも連結部分を一つの単位として扱うため、そもそも(b)で残ってしまっている線の１単位として認識されてしまった線は、残ってしまうので(c)のように全部除去できていない。

読んだ中での不明点などの感想

• パラメタを自動で決まるのは良い。そして結果が良い。

関連論文

この研究を用いて、漫画の自動着色をしている研究 #29