Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Playing Atari with Deep Reinforcement Le...
Search
tt1717
January 30, 2024
Research
0
200
[論文紹介] Playing Atari with Deep Reinforcement Learning
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
January 30, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Pokemon AI 3
tt1717
0
59
[論文サーベイ] Survey on Pokemon AI 2
tt1717
0
45
[論文サーベイ] Survey on Pokemon AI
tt1717
0
78
[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024
tt1717
0
83
[論文サーベイ] Survey on GPT for Games
tt1717
0
63
[論文サーベイ] Survey on World Models for Games
tt1717
0
160
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
63
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
69
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
150
Other Decks in Research
See All in Research
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
190
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
1k
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
210
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
630
最適化と機械学習による問題解決
mickey_kubo
0
180
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
280
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
130
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
180
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
310
機械学習と数理最適化の融合 (MOAI) による革新
mickey_kubo
1
380
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
120
CVPR2025論文紹介:Unboxed
murakawatakuya
0
170
Featured
See All Featured
Building Applications with DynamoDB
mza
96
6.6k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Speed Design
sergeychernyshev
32
1.1k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Fireside Chat
paigeccino
40
3.7k
Producing Creativity
orderedlist
PRO
347
40k
What's in a price? How to price your products and services
michaelherold
246
12k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
127
53k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・Atari2600タスクの6/7で先行研究のRLアルゴリズムを上回った ・3つのタスクで人間のエキスパート (プロゲーマー)を上回った ・経験データを使って重み更新をするためサンプル効率が高い ・7つのゲームで,全て同じアーキテクチャ,アルゴリズム,ハイパ ラを設定
・「ランダム行動,Sarsa,Contingency,2時間程度ゲームした人 間」とDQN (提案手法)を比較した ・Atariフレーム (3, 210, 160)を前処理フレーム (1, 84, 84)にする ・前処理フレームを4つ重ねて処理する (4, 84, 84) ・CNNで複数回処理して,最後に完全結合層で処理する ・出力は,行動 (action)が出力される ・Atari2600タスクに対して,CNNで特徴量を獲得してDQNで学習 してゲームタスクを解いたもの Playing Atari with Deep Reinforcement Learning (NIPS Deep Learning Workshop 2013) Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller https://arxiv.org/abs/1312.5602 2024/01/30 論文を表す画像 被引用数:13964 1/10
提案手法のアルゴリズム (1/2) 2/10 1. リプレイメモリの初期化: a. リプレイメモリDを容量Nで 初期化する 2. 行動価値関数の初期化:
a. 行動価値関数Qをランダム な重みで初期化する 3. エピソードの繰り返し: a. 1,...,Mステップ繰り返す b. シーケンスの初期化 c. タイムステップの繰り返し (次のスライドに続く)
提案手法のアルゴリズム (2/2) 3/10 1. タイムステップの繰り返し a. 行動の選択 i. εでランダム行動選択 b.
行動の実行と報酬の観測 i. 報酬rtと次の画像xt+1 c. 状態の更新と前処理 i. st+1 = st,at,xt+1 d. トランジションの保存 i. (Φt,at,rt,Φt+1) をリプレイメモリDに保存 e. ミニバッチのサンプリング i. Dからミニバッチによるランダムサンプリング f. 目標値yiの設定 i. 終了条件の分岐 g. 勾配降下ステップの実行 i. 誤差に基づいて,Q関数の重み更新
提案手法の利点 4/10 ❏ 経験データからランダム サンプリングすることで 経験データ間での相関が 崩れる ❏ 経験再生を使うことで, ハイパラの振動や発散を
回避できる
前処理とモデル 5/10 ❏ Atariフレーム (210 × 160, RGB)をグレースケールに変換 ❏ 110
× 84 の画像にダウンサンプリング ❏ 最後に,84 × 84の画像に変換する ❏ この前処理した画像を4つ重ねて処理を行う ❏ 85 (height) × 84 (width) × 4 (frame)となる 1. 第1層 (CNN):ストライド4,フィルタ8 × 8で16回畳み込み 2. 第2層 (CNN):ストライド2,フィルタ4 × 4で32回畳み込み 3. 完全結合層:256の次元に変換 4. 出力層: アクションごとに1つの出力を持つ完全結合層 (アクション数 は4個〜18個) 前処理 モデル
価値関数の可視化 6/10 A.画面左側に敵が現れた後,予測値が上昇している B.エージェントが敵に魚雷を発射し,命中しそうになると予測値がピーク に達する C.敵が消滅した後,予測値はベースの値に戻る 価値関数がどのようにゲームタスクに対応しているか可視化している
実験設定 7/10 ❏ 報酬クリップを導入 (ポジティブ報酬を1,ネガティブ報酬を-1,それ 以外は0) ❏ サイズ32のミニバッチを用いた,RMSpropによる最適化を使用 ❏ 1000万フレームの学習を行い,100万フレームはリプレイバッファに
格納する ❏ 7つのゲームで,「全て同じアーキテクチャ,アルゴリズム,ハイパ ラ」を設定することで様々なゲームでの動作に対して適応できる (ロバ スト)であることを示す
ε=0.05でのスコア結果 8/10 ❏ 平均スコアでは,従来手法と比較して7/7で上回る ❏ Q*bert,Seaquest,Space InvadersではDQNは人間超えができな かった ❏ HNeat
BestとDQN Bestを比較すると,6/7でDQN性能が良い ❏ HNeatは決定論的な方策で,DQNはε=0.05のε-greedey方策を使用
まとめ 9/10 ❏ Atariタスクの1フレーム (画像)からCNNを使って特徴量を獲得し, 「確率的勾配降下法」「経験再生」を使ってDQNアルゴリズムで学習 を行った
感想 10/10 ❏ 画像をCNNを使って特徴量を獲得している部分を改良するアイデアが ありそう ❏ e.g.) 敵対的サンプルを入れる,ViTを使う ❏ ゲームタスクの画像から強化学習をする論文を初めて読んで,学びが
多かった ❏ また,強化学習ではボードゲームなどの完全情報を扱っているのが多 い印象だったが「画像を観測」として使えることに驚いた