Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Mastering Diverse Domains through World Models
Search
tt1717
October 25, 2023
Research
0
38
[論文紹介] Mastering Diverse Domains through World Models
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
October 25, 2023
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
15
[論文紹介] Chip Placement with Deep Reinforcement Learning
tt1717
0
8
[論文紹介] Human-level control through deep reinforcement learning
tt1717
0
19
[論文紹介] Transformer-based World Models Are Happy With 100k Interactions
tt1717
0
37
[論文紹介] Deep Learning for Video Game Playing
tt1717
0
23
[論文紹介] Playing Atari with Deep Reinforcement Learning
tt1717
0
19
[論文紹介] 物理パラメータのランダム化による耐故障ロボットのための強化学習
tt1717
0
21
[論文紹介] 状態遷移差分の学習による耐故障ロボットのための強化学習
tt1717
0
22
[論文サーベイ] Survey on Minecraft AI
tt1717
0
38
Other Decks in Research
See All in Research
LLMマルチエージェントを俯瞰する
masatoto
26
17k
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
230
デフスポーツにおける支援技術 〜競技特性・ルールと技術との関係〜
slab
1
270
デジタルツインによる ネイチャーポジティブへの挑戦
fullfull
0
150
クロスモーダル表現学習の研究動向: 音声関連を中心として
ryomasumura
3
670
Deep State Space Models 101 / Mamba
kurita
9
3.9k
Gmail の「メール送信者のガイドライン」強化から 1 ヵ月、今後予想されるメールセキュリティの変化とは
hirachan
1
280
20240209 データを肴に熊本の交通を考える会「車1割削減、渋滞半減、公共交通2倍」をめざし世界に学ぼう
trafficbrain
0
1k
サウナでのプロジェクションマッピングの可能性の検討 / EC71koizumi
yumulab
0
280
Julia Tokyo #11 トーク: 「Juliaで歩く自動微分」
abap34
2
1.4k
リサーチに組織を巻き込むための「準備8割」の話
terasho
0
500
論文紹介 AST: Audio Spectrogram Transformer
kazu07
0
120
Featured
See All Featured
The Pragmatic Product Professional
lauravandoore
26
5.9k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Documentation Writing (for coders)
carmenintech
60
4k
Building Better People: How to give real-time feedback that sticks.
wjessup
356
18k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
[RailsConf 2023] Rails as a piece of cake
palkan
30
4.1k
Web Components: a chance to create the future
zenorocha
306
41k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
20k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Visualization
eitanlees
137
14k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
23
1.7k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・先行研究では特定タスクやドメインに特化していたが,Dreamerv3で は多くのドメインにわたるタスクを解決できる汎用的でスケーリング特 性をもつ手法を提案. ・チューニングが少なくて済み,タスクや環境の変化に対して堅牢. ・優れたスケーリング特性により先行研究よりも大規模で複雑なタスク を処理できる.
・複数のベンチマークで性能評価 行動空間が離散or連続,空間が2Dor3D,報酬が疎or密なものを対 象. ・モデルサイズの変更による性能評価 ・世界モデルによる未来予測 ・Minecraftダイヤモンド収集タスクによる評価 ・Dreamerv2をより汎用的に使える手法にするためにいくつか工夫 ・ドメインが変わっても常に同じハイパラで学習できるように 1.観測や報酬の値をsymlog関数で変換する. 2.Actorの目的関数ではλ収益の値を正規化する. ・固定ハイパラを用いた広範囲のドメインにおいて,既存手法を超 えた. ・Dreamerv3はスケーリング特性により,大きなモデルを使用する と高いデータ効率と高い最終パフォーマンスを獲得. ・「人間のデータ」「カリキュラム学習」を使わずに,ゼロから Minecraftでダイヤモンド採集タスクに成功した. Mastering Diverse Domains through World Models (arXiv 2023)Danijar Hafner, Jurgis Pasukonis, Jimmy Ba, Timothy Lillicrap https://arxiv.org/pdf/2301.04104v1.pdf 2023/05/06 論文を表す画像 被引用数:947 1/11
Symlog Prediction ❏ ドメインが変わると,観測や報酬の値のスケールが変わるので,逐一 ハイパラを調整する必要がある ❏ それをしなくていいように,symlog関数をかけることで値をある程度 揃える ❏ 可逆な関数なので,逆関数をかければ元の値に戻せる
2/11
λ収益の正規化 ❏ エントロピー正則化付きでactorを学習する場合,その係数のチューニ ングは報酬のスケールやスパース性に依存するので難しい ❏ うまく報酬の値を正規化できれば,ドメインによらずエントロピー項 の係数を固定できるはず ❏ 収益を5~95%分位数の幅で正規化する ❏
単純に分散で正規化すると,報酬がスパースなときに,収益が過大評 価されてしまうので,外れ値を弾けるようにこの形にする 3/11
実験(ベンチマーク) ❏ すべてのドメイン・タスクで同じハイパラで高い性能が出せる ❏ チューニングの必要がなくなる 4/11
実験(スケーリング) ❏ モデルサイズによって性能がスケールすることを確認 ❏ 最終パフォーマンスとデータ効率向上 ❏ 勾配ステップ数を増やすと,データ効率がさらに向上 ❏ 最終パフォーマンスはどれも同じ 5/11
実験(データ効率) ❏ DMLabタスクでDreamerv3はIMPALAの約1/130のデータ効率 ❏ さらに,Dreamerv3の最終パフォーマンスがIMPALAを超えている 6/11
実験(世界モデルにおける未来予測) ❏ 上2段がDMLabタスクにおける結果 ❏ 下2段がControl Suiteタスクにおける結果 7/11
実験(Minecraftタスク) ❏ Minecraftタスクで初めてRL agentがダイヤモンドを取ることに成功 8/11
まとめ ❏ Dreamerv2の発展版を提案 ❏ Minecraftタスクでダイヤモンドを採取できるのはすごいと感じた ❏ Minecraftタスク40回のプレイすべてで,ダイヤモンドを採取できな い ❏ 人間だと40回の全プレイにおいて,ダイヤモンドを採取できると
予想 ❏ より横断的にゲーム環境のタスクでテストの実施が必要 9/11
補足:用語の意味 ❏ カリキュラム学習 ❏ タスクの難易度を徐々に上げて,効率的にエージェントを学習さ せる方法 ❏ トレーニング率 ❏ ステップ数に対するトレーニング中に実行された環境ステップ数
の比率 10/11
参考文献 ❏ モリカトロンAIラボ ❏ 松尾研究室スライド ❏ Danijar Hafnerサイト ❏ ステートオブAIガイド
11/11