Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Search
Kento Kawaharazuka
February 11, 2025
Research
0
660
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Kento Kawaharazuka
February 11, 2025
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
370
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
1k
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
4
2k
Other Decks in Research
See All in Research
データxデジタルマップで拓く ミラノ発・地域共創最前線
mapconcierge4agu
0
170
NLP Colloquium
junokim
1
160
データサイエンティストの採用に関するアンケート
datascientistsociety
PRO
0
1k
学生向けアンケート<データサイエンティストについて>
datascientistsociety
PRO
0
3.1k
線形判別分析のPU学習による朝日歌壇短歌の分析
masakat0
0
130
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
600
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
520
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
180
Collaborative Development of Foundation Models at Japanese Academia
odashi
2
560
なめらかなシステムと運用維持の終わらぬ未来 / dicomo2025_coherently_fittable_system
monochromegane
0
380
90 分で学ぶ P 対 NP 問題
e869120
17
7.5k
Featured
See All Featured
Typedesign – Prime Four
hannesfritz
42
2.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
53k
Navigating Team Friction
lara
187
15k
4 Signs Your Business is Dying
shpigford
184
22k
The Cult of Friendly URLs
andyhume
79
6.5k
Writing Fast Ruby
sferik
628
62k
It's Worth the Effort
3n
185
28k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
How GitHub (no longer) Works
holman
314
140k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Transcript
1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric
AI勉強会
自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属
– 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました! • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning
ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M.
Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]
ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs
ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0
ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model)
• RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]
RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7
なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく,
双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難
データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI
現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H.
Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]
データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023]
言語データ拡張 画像データ拡張
詳しくは… •Data-centric AI本で! • 第5章 ロボットデータ • はじめに • RTシリーズの概要
• 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12
13 Thank You!