Upgrade to Pro — share decks privately, control downloads, hide ads and more …

RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)

Avatar for Kento Kawaharazuka Kento Kawaharazuka
September 06, 2024

 RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)

既存の基盤モデルを実ロボットに応用する方法について

Avatar for Kento Kawaharazuka

Kento Kawaharazuka

September 06, 2024
Tweet

More Decks by Kento Kawaharazuka

Other Decks in Research

Transcript

  1. これまでの活動(1) • 特集号「Real-World Robot Applications of Foundation Models」 @Advanced Robotics

    4 • Survey Paper • NLP2024併設ワークショップ: 大規模言語モデルの実世界応用
  2. 基盤モデルの実ロボット応用OS 6 RSJ2023 • 3セッション / 21件の発表 • 7機関: 東大,

    慶應, 早稲田, 名工大, 立命館, 金沢大, 中部大 RSJ2024 • 4セッション / 27件の発表 • 20機関: 東大, 慶應, 早稲田, 阪大, 京大, Sony, RIKEN AIP, ATR, NII, TCRDL, 産総研, 名工大, 立命館, 創価大, トヨタ自動車, 富士通, 都 立大, 金沢工業, 中部大, ドワンゴ 様々な機関が基盤モデルを使うようになってきた
  3. 本チュートリアルの構成 チュートリアルA (河原塚) • 既存の基盤モデルの実ロボット活用例 チュートリアルB (松嶋) • ロボット基盤モデルを作る取り組み チュートリアルC

    (宮澤) • 基盤モデルの対話活用について 7 大きな進展はない かなり進展がある 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 新規
  4. 活用可能な基盤モデルの種類(3) 11 Depth Anything [L. Yang+, 2024] FoundationPose [B. Wen+,

    2024] MeshAnything [Y. Chen+, 2024] 4M [D. Mizrahi+, 2024] URDFormer [Z. Chen+, 2024] 多様なモダリティ
  5. まとめ • チュートリアルA • 既存の基盤モデルの実ロボット活用例 • 一方でRSJ2023からそこまで大きな進展はない • 活用可能な基盤モデルの種類 •

    各基盤モデルの性能向上 / よりマルチモーダルへ • 基盤モデルの活用方法 • 基盤モデル×強化学習 / ロボット基盤モデル • 我々の研究事例 • 連続状態認識 / レシピ解釈 / PDDL / 運動指令との融合/ ナビゲーション 25