Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
Search
Kento Kawaharazuka
September 06, 2024
Research
3
1k
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
既存の基盤モデルを実ロボットに応用する方法について
Kento Kawaharazuka
September 06, 2024
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
haraduka
0
670
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
380
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
4
2k
Other Decks in Research
See All in Research
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
830
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
420
GeoCLIP: Clip-Inspired Alignment between Locations and Images for Effective Worldwide Geo-localization
satai
3
250
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
2
550
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
340
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
990
プロシェアリング白書2025_PROSHARING_REPORT_2025
circulation
1
910
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
330
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
250
近似動的計画入門
mickey_kubo
4
990
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
120
Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction
satai
3
220
Featured
See All Featured
KATA
mclloyd
30
14k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
Site-Speed That Sticks
csswizardry
10
700
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Unsuck your backbone
ammeep
671
58k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Docker and Python
trallard
45
3.5k
A better future with KSS
kneath
238
17k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
A Tale of Four Properties
chriscoyier
160
23k
Transcript
1 2022.09.06 RSJ2024 基盤モデルの実ロボット応用 チュートリアルA 河原塚健人1, 松嶋達也1, 宮澤和貴2 (1東京大学, 2大阪大学)
本オーガナイズドセッションの目的 • ロボットのシステム構築が圧倒的に簡単に. 波に乗るしかない. • 海外の研究に置いて行かれないように最新情報をキャッチアップ • 国内で最新情報を共有して立ち向かう・追い越す 2
オーガナイザー 3 河原塚 健人 東京大学 松嶋 達也 東京大学 宮澤 和貴
大阪大学
これまでの活動(1) • 特集号「Real-World Robot Applications of Foundation Models」 @Advanced Robotics
4 • Survey Paper • NLP2024併設ワークショップ: 大規模言語モデルの実世界応用
これまでの活動(2) 5 • Cooking Robotics Workshop @ICRA2024
基盤モデルの実ロボット応用OS 6 RSJ2023 • 3セッション / 21件の発表 • 7機関: 東大,
慶應, 早稲田, 名工大, 立命館, 金沢大, 中部大 RSJ2024 • 4セッション / 27件の発表 • 20機関: 東大, 慶應, 早稲田, 阪大, 京大, Sony, RIKEN AIP, ATR, NII, TCRDL, 産総研, 名工大, 立命館, 創価大, トヨタ自動車, 富士通, 都 立大, 金沢工業, 中部大, ドワンゴ 様々な機関が基盤モデルを使うようになってきた
本チュートリアルの構成 チュートリアルA (河原塚) • 既存の基盤モデルの実ロボット活用例 チュートリアルB (松嶋) • ロボット基盤モデルを作る取り組み チュートリアルC
(宮澤) • 基盤モデルの対話活用について 7 大きな進展はない かなり進展がある 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 新規
活用可能な基盤モデルの種類@RSJ2023 8 Visual Prompting 全体的な性能アップ
活用可能な基盤モデルの種類(1) 9 GPT-4o Imagen3 全体的な性能アップ SAM 2
活用可能な基盤モデルの種類(2) 10 PIVOT [S. Nasiriany+, 2024] MOKA [F. Liu+, 2024]
Visual Prompting
活用可能な基盤モデルの種類(3) 11 Depth Anything [L. Yang+, 2024] FoundationPose [B. Wen+,
2024] MeshAnything [Y. Chen+, 2024] 4M [D. Mizrahi+, 2024] URDFormer [Z. Chen+, 2024] 多様なモダリティ
基盤モデルのロボット活用方法@RSJ2023 12
基盤モデルのロボット活用方法@RSJ2023 13 1. CLIPやDeticで認識/LLMで動作計画 2. Affordance/Rewardを構築して強化学習/MPC 3. マップやシーングラフを構築して動作計画 4. センサと制御入力の関係をデータ拡張/学習
チュートリアルBに譲る
基盤モデルのロボット活用方法(1) 14 Eureka [J. Ma+, 2023]
基盤モデルのロボット活用方法(1) 15 Eureka [J. Ma+, 2023]
基盤モデルのロボット活用方法(2) 16 DrEureka [J. Ma+, 2024]
我々の事例@2024 18
我々の事例 – VLMによる食材状態認識 19 [K. Kawaharazuka+, RA-L2024]
我々の事例 – LLM/VLMによる料理ロボット 20 [N. Kanazawa+, Advanced Robotics]
我々の事例 – LLMとPDDLの融合 • LLMとVLMでPDDL(Planning Domain Definition Language)を記述 21 [K.
Shirai+, ICRA2024]
我々の事例 – VLMと動作指令の統合 22 [K. Kawaharazuka+, Humanoids2023]
我々の事例 – 事前知識無しのナビゲーション 23 [K. Kawaharazuka+, Advanced Robotics]
まとめ • チュートリアルA • 既存の基盤モデルの実ロボット活用例 • 一方でRSJ2023からそこまで大きな進展はない • 活用可能な基盤モデルの種類 •
各基盤モデルの性能向上 / よりマルチモーダルへ • 基盤モデルの活用方法 • 基盤モデル×強化学習 / ロボット基盤モデル • 我々の研究事例 • 連続状態認識 / レシピ解釈 / PDDL / 運動指令との融合/ ナビゲーション 25