Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[論文紹介] Deep Learning for Video Game Playing

tt1717
January 30, 2024

[論文紹介] Deep Learning for Video Game Playing

PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.

tt1717

January 30, 2024
Tweet

More Decks by tt1717

Other Decks in Research

Transcript

  1. どんなもの?
    先行研究と比べて何がすごい?
    技術の手法や肝は?
    どうやって有効だと検証した?
    ・ゲームタスクに用いられてきた深層強化学習アルゴリズムの派生
    図がまとめられている
    ・各ビデオゲームタスクに対するサンプル効率
    ・各ビデオゲームタスクに対する最終的な性能
    ・各ビデオゲームタスクに対して手法の詳細がそれぞれ記述されて
    いる
    ・ゲームプレイのための深層強化学習サーベイ論文
    ・ビデオゲームタスクの環境の説明をしているもの
    ・各ビデオゲームタスクに対して有効な深層強化学習アルゴリズム
    が提示されている
    Deep Learning for Video Game Playing
    (arXiv 2017) Niels Justesen, Philip Bontrager, Julian Togelius, Sebastian Risi
    https://arxiv.org/abs/1708.07902
    2024/01/30
    論文を表す画像
    被引用数:288
    1/6

    View full-size slide

  2. ピクセル入力を用いたアーキテクチャ
    2/6
    1. 入力は,前処理された観測画像を4枚重ねたものを使う
    2. CNNによって複数回繰り返す
    3. CNNによる出力を完全結合層によって処理する
    4. その後,LSTMやGRUなどによって処理され行動 (action)を出力する
    最終的な出力は行動 (action)となる

    View full-size slide

  3. ゲームタスクに適用されるDRL手法
    3/6
    ❏ 特徴は「体力,弾薬,スコア,オブ
    ジェクト」などのゲームの状態を表
    す低次元のアイテムや値を指す
    ❏ MLPは,CNNやRNNを持たない
    アーキテクチャを意味する

    View full-size slide

  4. DRLアルゴリズムの派生図
    4/6
    ❏ 各ノードはアルゴリズム
    ❏ 色はゲームのベンチマーク
    ❏ 矢印はアルゴリズムの関連性を表す
    ❏ 中心 (DQN)からの距離は,論文が
    arXivで発表されるのにかかった年
    数を表す

    View full-size slide

  5. まとめ
    5/6
    ❏ ゲームタスクにおける深層強化学習はCNNベースである
    ❏ 人間レベルの性能を上回ることはできるが,複雑なゲーム (マルチエー
    ジェント)などでは多くの課題が残っている

    View full-size slide

  6. 感想
    6/6
    ❏ 自分の知らなかったRLE (Retro Learning Environment)やopen ai
    universeを初めて知った
    ❏ ゲームタスクに関しては状態 (正確には部分観測なので観測)が画像の1
    フレームになるのでCNNベースの手法が多かった
    ❏ 観測情報に対してセマセグをしてから強化学習するものがあるが,そ
    れと同様に観測の特徴抽出の部分でMAEやViTなどの処理が有効になる
    のか気になった

    View full-size slide