Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
[Journal club] Rapid Exploration for Open-World...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 27, 2022
Technology
1.3k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
[Journal club] Rapid Exploration for Open-World Navigation with Latent Goal Models
Semantic Machine Intelligence Lab., Keio Univ.
PRO
July 27, 2022
Transcript
15 slides
慶應義塾大学 杉浦孔明研究室 是方諒介 Rapid Exploration for Open-World Navigation with Latent
Goal Models Dhruv Shah1, Benjamin Eysenbach2, Nicholas Rhinehart1, Sergey Levine1 (1UC Berkeley, 2Carnegie Mellon University) CoRL 2021 Dhruv Shah, Benjamin Eysenbach, Nicholas Rhinehart and Sergey Levine. "Rapid Exploration for Open-World Navigation with Latent Goal Models." CoRL 2021.
概要 背景 ✓ 未知の屋外実環境における、画像による頑健なnavigation 提案 ✓ 大規模オフラインデータを用いた、ゴールまでの距離と行動に関する潜在変数モデル ✓ 探索時におけるトポロジカルなグラフの構築 結果
✓ 20分以内の探索で最大で80m遠方までのnavigationに成功 ✓ 非定常的な環境への頑健性を確認 2
背景:実環境navigationにおいて頑健性は重要 ◼ タスク:未知の屋外実環境において、画像で指定されたゴールへ移動 ◼ ロボットに搭載されたRGBカメラ画像のみ利用可 ◼ 課題 ✓ 非定常的な要素(e.g. 光)
✓ 学習データと実環境の未知データとの差異 3 ゴール画像 エリア探索 navigation ロボット (Clearpath Jackal) 既知 未知
関連研究:未知の屋外実環境において不十分な性能 ◼ 欠点 ✓ 未知環境適用のための学習方法が不明瞭 ✓ 膨大なサンプル数を要し、事実上シミュレーション環境が前提 4 Model Detail
ViNG [Shah+ ICRA21] ・ランダムな行動によりトポロジカルなグラフを構築 Active Neural SLAM [Chaplot+ ICLR20] ・RGB観測データとセンサ値からマップと姿勢を推定 ・屋内環境における有力な手法 Active Neural SLAM
提案手法:RECON (Rapid Exploration Controllers for Outcome-driven Navigation) ◼ ゴールの潜在表現学習とグラフ構築により、未知環境でのnavigationを実現 ◼
ロボット搭載のRGBカメラ画像のみ使用(= LIDAR等のセンサは不使用) ◼ 事前に短時間の探索を行うことで、任意の地点への誘導が可能 ◼ 3段階構成 ① Prior Experience ② Exploring ③ Navigating 5 ゴールの潜在表現学習 グラフ構築
① Prior Experience:ゴールの潜在表現𝑧𝑡 𝑔を学習 ◼ 既知環境における教師あり学習(= オフライン学習) ◼ 9つの環境で5000サンプルの軌道を収集 ◼
Variational Information Bottleneck [Alemi+ ICLR17] に基づきモデル化 ◼ 目標:𝐿を最大化 6 𝑎𝑡 𝑔:最適な行動予測 𝑑𝑡 𝑔:ゴールまでの距離予測 𝑜𝑔 :ゴール地点の画像 𝑜𝑡 :現在の観測画像 𝐿 = 1 |𝒟| Σ (𝑜𝑡,𝑜𝑔,𝑎𝑡 𝑔,𝑑𝑡 𝑔)∈𝒟 𝔼 𝑝𝜙(𝑧𝑡 𝑔|𝑜𝑔,𝑜𝑡) log 𝑞𝜃 𝑎 𝑡 𝑔, 𝑑 𝑡 𝑔 𝑧 𝑡 𝑔, 𝑜𝑡 − 𝛽KL(𝑝𝜃 (⋅ |𝑜𝑔 , 𝑜𝑡 )||𝑟(⋅)) 𝒟:データセット 𝑟:事前分布
◼ ①のモデルからサブゴールを設定し未知環境を探索 ◼ 目標:グラフの構築とモデルのfine-tuning ◼ 𝑎 𝑡 𝑔は制御、𝑑 𝑡 𝑔はエッジ構築に利用
7 ② Exploring:トポロジカルなグラフ𝒢を構築 ← モデルのfine-tuning ← グラフの更新 ← case1:ゴールに到達可能ならゴールへ ← case2:未開拓地点ならランダムな地点へ ← case3:それ以外は近辺で最も訪問回数が少ないノードへ
◼ スタートからゴールへの最短経路ノードがサブゴール ◼ 目標:画像で指定されたゴールへのnavigation ◼ 同じエリア内ではグラフの再利用が可能 8 ③ Navigating:グラフを基に段階的なサブゴールを設定 ←
𝑣𝑡 :スタート地点のノード ← 𝑣𝑔 :ゴール地点のノード ← ゴールまでの通過ノードをサブゴールに設定
実験設定:未知環境における2種類の実験 実験1:8つの未知環境において、最大80m離れたゴールへのnavigation ◼ 評価指標:Success weighed by Completion Time (SCT) [Yokoyama+
IROS21] ◼ 移動距離ではなく移動時間に注目 実験2:非定常的な環境による影響の分析 ◼ 未知障害物の設置や光(天候)の変化 9 SCT = 𝑆 𝑇 max(𝐶, 𝑇) 𝑆:navigation失敗なら0、成功なら1 𝑇:ロボットのダイナミクスを考慮した最短移動時間 𝐶:実際の移動時間 最短経路が最速とは限らない
定量的結果(実験1):全ての指標で既存手法を凌駕 ◼ ECR:「② Exploring」のcase1でランダムに行動 ◼ 考察 ✓ Exploring Time, Navigation
Timeともに提案手法が最短 ✓ SCTが既存手法より約30%向上 ✓ 強化学習ベースの手法(e.g. RND [Yuri+ 18])はfine-tuningの効率が悪い可能性 10
定性的結果(実験1):より短い経路を選択 11 提案手法はECRより短い経路を選択 RECON(ECR含む)のみゴールに到達 タスク例詳細
定性的結果(実験2):非定常的な環境に頑健 ◼ 平常時 ◼ 未知障害物を回避 ◼ 光(天候)に影響されづらい 12 ゴミ箱 カラーコーン
自動車 夕暮れ 晴れ 雨 / 曇り ゴール画像 平常時のパス
まとめ 背景 ✓ 未知の屋外実環境における、画像による頑健なnavigation 提案 ✓ 大規模オフラインデータを用いた、ゴールまでの距離と行動に関する潜在変数モデル ✓ 探索時におけるトポロジカルなグラフの構築 結果
✓ 20分以内の探索で最大で80m遠方までのnavigationに成功 ✓ 非定常的な環境への頑健性を確認 13
Appendix:実装の詳細 14 アーキテクチャ ハイパーパラメータ
Appendix:その他の疑似コード 15
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
慶應義塾大学 AI実践05 論文執筆の仕組み化
keio_smilab
PRO
7
4k
[EMNLP26] RIGEL: Self-Distilled Score Adaptation for Image and Video Captioning Evaluation
keio_smilab
PRO
0
170
[RSJ26] Building a VLA Model Based on Self-Distilled Classification
keio_smilab
PRO
0
230
[RSJ26] AnoleVLA: Lightweight Vision-Language-Action Model with Deep State Space Models for Mobile Manipulation
keio_smilab
PRO
0
200
[RSJ26] NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields
keio_smilab
PRO
0
270
[RSJ26] Flow as Flow: Modeling Robot Velocity Fields as Probability Velocity Fields
keio_smilab
PRO
1
310
[RSJ26] Hierarchy-Aware Multimodal Retrieval-Augmented Generation for Embodied Question Answering
keio_smilab
PRO
1
210
[MIRU26] Open-Vocabulary Intention-Guided Object Detection in Diverse Scenes
keio_smilab
PRO
0
260
[Journal club] Evo-1: Lightweight Vision-Language-Action Model with Preserved Semantic Alignment
keio_smilab
PRO
0
81
Other Decks in Technology
See All in Technology
Biohub - Cell Tracking During Development 5th place solution
rist
0
170
閉域網でのAPI公開の選択肢全部比較!
takano0131
3
510
ぼくのClaude Codeの使い方
falken
PRO
5
7.5k
IoTのデータ保存をSREの観点で考える
grimoh
1
110
「AIチャットからもできないの?」と言われたら ~業務アプリをMCP対応するときの認証・認可の勘所
oidfj
0
370
re:Inventを楽しむために、 1日1つ「これが楽しみ」を決めよう
beli68
0
100
【Oracle AI SPOTLIGHT ウェビナー】【特別開催:日本語で解説!】Oracle AI World 2026 最新情報フィードバック
oracle4engineer
PRO
1
270
3文字略語に騙されない! 世界一わかりやすい『EDR』超入門
kamadamakoto
1
250
gem install とrequire のむこうがわ
ydah
0
180
[NW-JAWS DAY]「うちのAWS、インターネット出られないんで」― AWS外の自社サービスをPrivateLinkでシュッと公開する方法
ykimi
3
810
文書画像からの情報抽出を行うエージェントを、軌跡の正解データ無しで作れるか
sansantech
PRO
2
180
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
120
Featured
See All Featured
The Mindset for Success: Future Career Progression
greggifford
PRO
0
560
Git: the NoSQL Database
bkeepers
PRO
433
67k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
141
35k
Visual Storytelling: How to be a Superhuman Communicator
reverentgeek
2
750
Leveraging LLMs for student feedback in introductory data science courses - posit::conf(2025)
minecr
1
480
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850
Odyssey Design
rkendrick25
PRO
3
950
Chasing Engaging Ingredients in Design
codingconduct
0
400
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
2.2k
A Tale of Four Properties
chriscoyier
163
24k
Money Talks: Using Revenue to Get Sh*t Done
nikkihalliwell
0
560
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
23k