1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric AI勉強会

自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属 – 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました！ • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning

ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M. Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]

ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs

ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0

ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model) • RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]

RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7

なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく, 双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難

データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI

現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H. Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]

データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023] 言語データ拡張 画像データ拡張

詳しくは… •Data-centric AI本で！ • 第5章 ロボットデータ • はじめに • RTシリーズの概要 • 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12

13 Thank You!