Deep Outdoor Illumination Estimation

[kogaki]

一枚の写真から光源環境マップを推定。空を低次元のパラメタ化することで推定しやすくする。学習データはパノラマ画像のみ

論文本体・著者

• http://vision.gel.ulaval.ca/~jflalonde/projects/deepOutdoorLight/index.html
  • Yannick Hold-Geoffroy, Kalyan Sunkavalli, Sunil Hadap, Emiliano Gambaretto and Jean-François Lalonde
  • ラヴァル大学, Adobe
  • CVPR2017

解きたい問題

論文 Fig. 1 より

• AR(のためのIBL)などに利用する際に、１枚の写真から背面まで含めた光源環境マップを得たい。
  • 自然なリライティングによって、AR写真の実在感が増す

新規性

• はじめてのCNNベースでの一枚絵からの光源環境マップ推定

  • To our knowledge, we are the first to address the complete scope of estimating a full HDR lighting representation—which can readily be used for image-based lighting [7]—from a single outdoor image

• パノラマ画像から固定視点の写真をサンプリングすることでデータセットを作成する手法を提案
• 直接パノラマ画像を作るのではなく、空のパラメタを推定する問題にすることで、問題を簡単にした

  • Instead, we use a physically-based sky model—the Hošek-Wilkie model

実装

• 空のパラメタの抽出は，空のモデルとパノラマのピクセルの二乗誤差の最小化として得る

  • 
    • l, ω, t = 太陽の位置、カメラの露出、sky turbidity(曇りとか?)

• CNNは素直な7層+fc

実験・議論

読んだ中での不明点などの感想

• デモ( http://rachmaninoff.gel.ulaval.ca:8000/ )試してみました

  • 
  • 

• 完成したデモはとても使いやすい(汎化性も高い)。データセットを作るところの再現が結構大変そう。

関連論文