Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Masked World Models for Visual Control
Search
tt1717
October 25, 2023
Research
0
52
[論文紹介] Masked World Models for Visual Control
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
October 25, 2023
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Pokemon AI 3
tt1717
0
29
[論文サーベイ] Survey on Pokemon AI 2
tt1717
0
38
[論文サーベイ] Survey on Pokemon AI
tt1717
0
71
[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024
tt1717
0
70
[論文サーベイ] Survey on GPT for Games
tt1717
0
56
[論文サーベイ] Survey on World Models for Games
tt1717
0
130
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
61
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
61
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
130
Other Decks in Research
See All in Research
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
450
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
200
データxデジタルマップで拓く ミラノ発・地域共創最前線
mapconcierge4agu
0
190
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
450
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
570
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
420
【緊急警告】日本の未来設計図 ~沈没か、再生か。国民と断行するラストチャンス~
yuutakasan
0
140
近似動的計画入門
mickey_kubo
4
990
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
140
SSII2025 [SS2] 横浜DeNAベイスターズの躍進を支えたAIプロダクト
ssii
PRO
7
3.7k
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
110
電力システム最適化入門
mickey_kubo
1
730
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Building Adaptive Systems
keathley
43
2.7k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Designing for Performance
lara
610
69k
It's Worth the Effort
3n
185
28k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・報酬の予測によりタスクに適した表現を獲得 ・DreamerV2と比較して小さな物体を扱うタスクで大幅に性能改善 ・Meta-world,RLBench,DeepMind Control Suiteの環境で実験 ・特徴マスキング,マスキング比率,報酬予測に対してアブレー
ションスタディを実施 ・DreamerV2とMWMで予測画像を比較 ・MWM (Masked World Models) 1.畳み込み特徴マスキングと報酬予測によるAEの学習 2.AEから視覚表現を予測する潜在的ダイナミクスモデル学習を繰り 返し,「視覚表現」と「ダイナミクス」を別々に更新 3.「環境との相互作用から収集したサンプル」を用いて,AEと潜在 的なダイナミクスモデルを継続的に更新 ・世界モデルの画像表現学習に,「MAE」を使用 ・報酬の予測によりタスクに適した表現を獲得 Masked World Models for Visual Control (CoRL 2022) Younggyo Seo,Danijar Hafner,Hao Liu,Fangchen Liu,Stephen James,Kimin Lee,Pieter Abbeel https://arxiv.org/abs/2206.14244 2023/06/18 論文を表す画像 被引用数:19 1/10
背景:物体消失問題 ❏ 画像表現学習とタスクのギャップ ❏ 単純に再構成誤差でAEを学習し てもタスクに適した表現が得られ ない ❏ VAEのような再構成学習では面積 の小さい要素は無視してもLossが
下がる ❏ 一方で,タスクに必要なのは対象 物体の位置などの一部の情報 ❏ 学習コストの問題 ❏ 画像モデルと状態遷移モデルを同 時に学習すると,高次元データと なり計算量が増大 2/10 出典:https://arxiv.org/abs/2203.00494
Masked Autoencoder (MAE) ❏ パッチに分割された画像の75%を マスクしてViTに入力 ❏ 損失関数 ❏ マスクされたパッチの再構成誤差
(MSE) ❏ 画像分類タスクで高精度を達成 3/10 出典:https://arxiv.org/abs/2111.06377
Masked World Models (MWM) 4/10 ❏ 画像直接ではなく,中間層でマスキング(物体消失を防ぐ) ❏ パッチ内の細かいディテールを学習することが困難な場合がある ❏
再構成に加え報酬予測(報酬にかかわる情報を重視させる)
実験 5/10 ❏ Meta-world ❏ RLBench ❏ DeepMind Control Suite
結果 6/10 ❏ 性能・サンプル効率ともにDreamerV2から改善 ❏ Pick Placeタスクの小さな物体が重要なタスクでは差が顕著 ❏ Quadruped Walkタスクの小さな物体のないタスクでは同等程度
小さな物体を 扱うタスク 小さな物体を扱わ ないタスク
結果:Ablation Studies 7/10 画像直接ではなく特徴量 マスクで性能向上 75%のマスクで最高性能 報酬予測で性能向上 ❏ 特徴量マスク+マスク比率75%+報酬予測で最高性能
結果:予測画像比較 8/10 ❏ DreamerV2と比較してMWMは物体位置を予測できている 物体位置把 握 物体消失
まとめ 9/10 ❏ 世界モデルの画像表現学習にMAEを使用 ❏ 画像直接ではなく中間層でマスキング ❏ 報酬予測によりタスクに適した表現を獲得 ❏ DreamerV2と比較して小さな物体を扱うタスクで大幅に性能改善
参考文献 ❏ 松尾研究室スライド ❏ googleサイト 10/10