Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Human-level control through deep reinfor...
Search
tt1717
April 29, 2024
Research
0
510
[論文紹介] Human-level control through deep reinforcement learning
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
April 29, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on VLM for Video Game Quality Assurance
tt1717
0
4
[論文サーベイ] Survey on Pokemon AI 3
tt1717
0
61
[論文サーベイ] Survey on Pokemon AI 2
tt1717
0
46
[論文サーベイ] Survey on Pokemon AI
tt1717
0
79
[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024
tt1717
0
85
[論文サーベイ] Survey on GPT for Games
tt1717
0
64
[論文サーベイ] Survey on World Models for Games
tt1717
0
160
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
64
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
69
Other Decks in Research
See All in Research
Combinatorial Search with Generators
kei18
0
1k
令和最新技術で伝統掲示板を再構築: HonoX で作る型安全なスレッドフロート型掲示板 / かろっく@calloc134 - Hono Conference 2025
calloc134
0
320
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
360
20250624_熊本経済同友会6月例会講演
trafficbrain
1
690
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
390
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
190
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
790
Generative Models 2025
takahashihiroshi
25
14k
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
140
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
8
1.8k
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.9k
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
330
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
4 Signs Your Business is Dying
shpigford
185
22k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
920
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Why Our Code Smells
bkeepers
PRO
340
57k
Facilitating Awesome Meetings
lara
56
6.6k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
A Modern Web Designer's Workflow
chriscoyier
697
190k
Building an army of robots
kneath
306
46k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Transcript
・Atari 2600の49種類のゲームを使用して性能を評価した. ・各ゲームにおいてDQNは観測画像を入力として使用し,従来研究 や人間と比較して高いスコアを達成した. ・先行研究では,特徴を手動で設計する必要があり,低次元の状態 空間でのタスクに限定されていた. ・本研究で提案されたDQNは高次元の入力から直接学習を行うこと ができる. ・CNNを用いて状態空間を処理し,行動価値関数を近似することが 技術的な肝となっている.
・経験再生を使用して,サンプル間の相関関係を低減した.これに より,例えばゲームの次のステップでどのような状態に遷移するか わかりやすいデータの相関を断ち切ることが可能になった. ・高次元の状態入力から方策を学習できるDQNを提案した. ・Atari2600のゲームタスクにおいて,ゲーム内の画像 (状態)を入 力として人間超えの性能を示した. ・DQNが広範なタスクに対して効果的であることを証明した. どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? Human-level control through deep reinforcement learning (Nature 2015) Volodymyr Mnih et al., Google DeepMind et al. https://www.nature.com/articles/nature14236 2024/04/29 論文を表す画像 被引用数:29625 1/9
提案手法 ❖ 入力:前処理によって作成された84x84x4の画像を用いる.直近4フレームの ビデオフレームを単一の入力として扱う ❖ CNN層:3つのCNN層があり,それぞれが異なるサイズとストライドのフィル タを使用して入力画像を処理する ➢ 各CNN層での処理後は,ReLU関数で処理される 2/9
❖ 全結合層:各CNN層の後に512の隠れユニットを持つ全結合層によって処理さ れる ➢ この層は,観測状態を基にした行動価値 (Q値) を計算するために使用される ❖ 出力層:各ゲームタスクに応じた行動数だけ出力を持つ ➢
これにより,各行動の予想される行動価値 (Q値) が出力される 提案手法 3/9
❖ a (左):Space Invadersでの平均スコア ➢ エポック数が増えていくと,スコアも向上している ❖ b (右):Seaquestでの平均スコア ➢
エポック数が増えていくと,スコアも向上している ❖ この結果は,DQNが異なるゲーム環境においても効果的にタスクを学 習できることを示している 実験結果 4/9
❖ a (左):Space Invadersでの状態集合に対する平均行動価値 ➢ エポック数が増えていくと,Q値も向上している ❖ b (右):Seaquestでの状態集合に対する平均行動価値 ➢
エポック数が増えていくと,Q値も向上している ❖ DQNエージェントが異なるゲーム環境において効果的に行動価値を予 測できるようになっていく様子がグラフからわかる 実験結果 5/9
❖ 縦軸:各ゲーム ❖ 横軸:人間方策とランダム方策 によるスコアを基準にして正規 化したもの (%) ❖ At human-level
or above ➢ この基準線以上のゲームタスク ではDQNは高い学習能力を 持っていることを示す ❖ Below human-level ➢ この基準線以下のゲームタスク ではDQNエージェントのさら なる改善の必要性がある ❖ すべてのゲームで一様に高性能 というわけではなく,タスクに よっては人間の方が上手なタス クもある 実験結果 6/9
❖ 最後の隠れ層表現を2次元t-SNE を用いて視覚化したもの ❖ 行動価値 (Q値) を色の範囲で示す ➢ 赤 (高い)
から青 (低い) ❖ 特定のゲーム状態の行動価値が視 覚的に説明され,状態の有利さを 示す ❖ ゲーム状態の評価 ➢ 期待される報酬の高い or 低い ➢ 有利なゲーム状態(敵が多い) で高い状態価値が予測される ➢ 不利なゲーム状態(敵が少な い)では低い状態価値が予測さ れる ❖ 期待される報酬が高い or 低い ゲーム状態でマッピングされる 実験結果 7/9
まとめ 8/9 ❖ 状態空間の多いゲームタスクにおいてCNNを用いた特徴抽出によって 人間超えを達成した ❖ 一部のゲームタスクでは人間に劣るものの,ほとんどのゲームタスク では提案手法が優勢であった
❖ 観測画像をCNNで処理して,それを強化学習における行動選択に落と し込むアイデアが斬新だった ❖ Minecraftなどの奥行きがある3Dゲームでは,提案手法は有効なの か? 感想 9/9