Neural Adaptive Video Streaming with Pensieve

[kogaki]

強化学習で適応的ビットレート

論文本体・著者

• http://people.csail.mit.edu/hongzi/content/publications/Pensieve-Sigcomm17.pdf
• Hongzi Mao, Ravi Netravali, Mohammad Alizadeh
• in ACM SIGCOMM 2017
• 動画: https://www.youtube.com/watch?v=TJpQXgby_tk

解きたい問題

• 動画全体の平均QoE指標を最大化するビットレートを各chunk毎に算出する

新規性

• 問題設定

実装

論文 Fig.5 より

• Actor-Critic

  • Fig.5 の通り
    • 系列情報はCNNで
  • 学習はA3Cアルゴリズムに従い非同期で．
  • Actorの出力は(240P, 480P, 720P, 1080P)の4Action
  • 4層の小さめのネットワーク

• 報酬は?

  • QoE指標を使う
    • ただし，定まっている定義があるわけではなく，実験では複数のQoE指標で実験している．
      • ついでに，論文中では，HD画質を超えないと評価がガタ落ちするという非線形な新しいQoEを定義してる
        • ここが非線形だから学習ベース手法が効いてくる気もする
    • QoE = ビットレート項 - バッファタイムによるペナルティ - 前フレームとのビットレート変動によるpナルティ
      • この，ビットレート自体が報酬に入ってる関数を最適化する"ビットレート"を出力するんだから，解けそうな問題には感じる

実験・議論

論文 Fig.7 より

• いずれのQoEでも既存手法を圧倒
  • つまり，QoEの設計を頑張ればいいABRアルゴリズムが得られるという道を示したことになる

読んだ中での不明点などの感想

• もうちょい複雑なQoEが出てきたら真価を発揮する気がする．今のQoEだと，そりゃ解けるかな，という気はする．

関連論文

• Asynchronous methods for deep reinforcement learning
  • A3Cアルゴリズム
  • V. Mnih et al
  • in ICML 2016