Paired-D GAN for Semantic Image Synthesis (ACCV2018)

[SeitaroShinagawa]

0. 論文

• Paired-D GAN for Semantic Image Synthesis
• Duc Minh Vo and Akihiro Sugimoto
• ACCV2018
• (論文は取得できなかったため、下記ページのネットワーク図と生成画像の結果から推測)
• コード：https://github.com/vominhduc/Paied-D-GAN

1. どんなもの？

テキストに条件づけられた画像編集の研究。

2. 先行研究と比べてどこがすごい？

#15 に対して、編集対称の前景と背景にそれぞれ適用するDiscriminatorを用意し、背景の情報を保持して前景のみを編集した画像を生成している。

3. 技術や手法のキモはどこ？

• 前景と背景に適用するDiscriminatorを別々に用意している
• 前景部分には二値のフィルターをかけている(DropOutのような正則化(構造的な情報を落とす)がねらい？)
• Generator (Encoder, Decoder)の入出力近傍の層にはUNetでみるようなSkip connectionを導入し、元画像の構造的な特徴が残るようにしている

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

7. コメント

おそらく本手法は、元画像のテクスチャ情報の編集のみに着目して、形状の編集は苦手としていると思われる。テキストに条件づけられた、前景情報の画風変換手法と解釈するのが良いのではないだろうか。