Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Search
Kento Kawaharazuka
February 11, 2025
Research
1.4k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Kento Kawaharazuka
February 11, 2025
Transcript
13 slides
1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric
AI勉強会
自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属
– 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました! • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning
ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M.
Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]
ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs
ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0
ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model)
• RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]
RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7
なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく,
双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難
データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI
現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H.
Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]
データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023]
言語データ拡張 画像データ拡張
詳しくは… •Data-centric AI本で! • 第5章 ロボットデータ • はじめに • RTシリーズの概要
• 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12
13 Thank You!
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
RSJ2025「オープンハードウェアと学習制御」チュートリアル2025(河原塚)
haraduka
3
930
RSJ2025「基盤モデルの実ロボット応用」チュートリアル2025-1(河原塚)
haraduka
2
1.8k
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
15k
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
780
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
1.7k
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
5
3k
Other Decks in Research
See All in Research
Who’s Behind the Divide?
sirmatrixpage
1
1.6k
量子サマースクール2026「量子計算機アーキテクチャ分野の概観」
youten622
1
1k
就労支援の現場での生成AI活用
enochan
0
210
進化?迷走?CasualConc ファミリーアプリの現在地 @ 英語コーパス学会 2026
casualconc
0
160
実例から見るLLMのマンガ理解:実務VQAタスクによる長期的文脈と視覚情報の定性評価
kzmssk
0
230
La longévité des troupeaux laitiers: état des lieux et perspectives
institutdelelevage
PRO
0
140
OWASP AISVS - C7
shiell
2
870
フィジカルAIの社会実装に向けて -AIエージェントからAgentic Roboticsへ-
hf149
1
2.8k
[最先端NLP勉強会2026] Agentic Rubrics as Contextual Verifiers for SWE Agents
rfujii
1
420
Evaluating LLM Reliability Across Facts, Evidence, and Cultures
yukiar
0
250
Model Predictive Control for Uncertain Systems: Robust & Data-Driven Designs
kohlerjohannes
0
220
SAM3を用いたコマ・吹き出しの 領域検出と分割構造からの読み順推定
kzmssk
0
230
Featured
See All Featured
Fireside Chat
paigeccino
43
4.1k
What does AI have to do with Human Rights?
axbom
PRO
1
2.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
12
1.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
47
8.4k
Code Review Best Practice
trishagee
74
20k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
aleyda
1
2.3k
A Tale of Four Properties
chriscoyier
163
24k
Reality Check: Gamification 10 Years Later
codingconduct
0
2.4k
Jess Joyce - The Pitfalls of Following Frameworks
techseoconnect
PRO
1
480
YesSQL, Process and Tooling at Scale
rocio
174
15k
JAMstack: Web Apps at Ludicrous Speed - All Things Open 2022
reverentgeek
1
680
Bioeconomy Workshop: Dr. Julius Ecuru, Opportunities for a Bioeconomy in West Africa
akademiya2063
PRO
1
460