Skeleton-aided Articulated Motion Generation

[kogaki]

スケルトンを入力とした、連続性も考慮した動画GAN

論文本体・著者

• Yichao Yan*, Jingwei Xu*, Bingbing Ni, Xiaokang Yang
• https://arxiv.org/abs/1707.01058

解きたい問題

新規性

論文 Fig. 2 より

• 動画系列に対してロスを定義したこと
  • AdversarialとReconstructionはフレームbyフレームで、pix2pixとほぼ一緒
  • 後述のtripletが系列を保証

論文 Fig. 3 より

• 特に"連続しているべき"という制約をtriplet lossで表現したこと
  • 生成されたフレームのうち、連続したフレームは距離が近く、その他のフレームは距離が遠くなる距離学習をしてる

実装

論文 Fig. 4 より

• 基本的にpix2pixに従ってるが、generatorはsiamese構造にしたほうがより見た目がきれいになった

実験・議論

読んだ中での不明点などの感想

関連論文

• poseからの画像生成という着眼点は https://github.com/DwangoMediaVillage/paper_readings/issues/5 と同じ。発表時期も2週間違い