Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos

第65回 コンピュータビジョン勉強会＠関東「ICCV2025読み会」

Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos
author: Y. Chen, et al.

1. BVUIPS
   :J
   $IFO
   FU
   BM QSFTFOUFS
   !QFJTVLF Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos 第65回 コンピュータビジョン勉強会＠関東 ICCV2025読み会
2. ⾃⼰紹介 藤本 敬介 ABEJA CEO室/Labs ラボ⻑ ▷ 経歴 2010-2016：⽇⽴製作所 2016-：ABEJA ▷ SNS X：@peisuke github：@peisuke Qiita：peisuke ▷ 著書 ディープラーニングG検定公式テキスト AI⽩書2023, 2025
3. 1 2 3 論⽂の背景‧動機 ⼿法の詳細 実験
4. 論⽂の概要 • ⽬的 • VLAにおける事前学習モデルの構築時に必要であった制御情報を不 要化、低コストでのロボット制御学習を実現 • 貢献 • Latent Motion Tokenizerで教師なしでの動作のトークナイズ • Moto-GPTでトークナイズした動作に関する事前モデル作成 • Finetuningによる実ロボット制御への転⽤ • 結果 • 実ロボット制御において⼤規模モデルに匹敵する性能を達成
5. VLAによるロボットの学習 • 視覚‧⾔語指⽰からロボットの⾏動を直接⽣成 • 制御情報付きデータの収集コストが⾼く、事前学習モ デルの構築のハードルが⾼い
6. 本論⽂のメリット • 制御情報の無い動画のみからでも事前学習モデルを構築できる ため、データ収集が容易 • 動作をトークン化することで、画像‧⾔語と⼀緒にGPTの枠組みで将来 動作を予測、Finetuningで予測動作から制御を出⼒できるように学習 タスク： “Open drawer” Moto-GPT 次動作のトークン 次動作の トークン 事前学習フェーズ Finetuningフェーズ 制御情報 ＋
7. 1 2 3 論⽂の背景‧動機 ⼿法の詳細 実験
8. 提案⼿法の概要 • 3つのステップで効率的にロボットの制御を学習 • Latent Motion Tokenizerで動作に関するトークンを作成 • Moto-GPTで動作のトークンを利⽤し事前モデル学習 • Finetuningでロボットの制御値を学習
9. STEP1: Latent Motion Tokenizer (LMT) • ロボット動作のトークナイズ • ⾔語や画像と同様にトークナイズ することでGPTと接続可能 • 前後フレームを⼊⼒として、 所定の⻑さを持つ128種のトー クンに変換
10. Latent Motion Tokenizerの詳細 • トークナイズのアーキテクチャ • クエリトークン、前後フレームのViTエンコードを接続 • M-Formerを通し、クエリトークンの部分を切り取り • MLPとVQ Codebookを通してトークナイズ ViT ViT Query M- Former MLP VQ Token 39 17 ‧ ‧ 48 ( )
11. Latent Motion Tokenizerの詳細 • 学習のアーキテクチャ • 動画のみから教師なし学習 • 前フレームとLMTから、後フレームを再構成 LMT Decoder
12. LMTの模倣動画の⽣成への利⽤ • 参照動画から動作トークン列を推論 • 転移先の初期フレームに動作トークンを適⽤ LMT LMT
13. STEP2: 事前学習によるモーション予測 • GPTと同様に次のトークン を予測 • ⾔語情報と初期フレームの画 像を⼊⼒とし、次フレーム以 降のトークンを学習
14. Moto-GPTの予測動作画像⽣成への利⽤ • 学習データと異なる、適当なタスクと初期画像を⼊⼒ • 次フレーム以降のトークンを予測 • 初期画像と予測トークンから、次画像を⽣成 • ⽣成画像と予測トークンから、更に先の画像を⽣成 Moto GPT Deco der Moto GPT Deco der
15. STEP3: 事後学習によるロボットアクション⽣成 • 出⼒にロボット制御を追加 • 動作トークン中にAction Queryを挟み、制御値を出⼒
16. Finetuningのプロセス 画像列 制御値 タスク “Open drawer” (∆x1、∆θ1、∆grip1), (∆x2、∆θ_2、∆grip_2), ..., (∆x_T、∆θ_T、∆grip_T) • 学習データは以下のフォーマット
17. Finetuningのプロセス • GPTで制御値を予測できるように学習 • 制御値の位置にAction Query Tokenを挿⼊ “Open drawer” T5 ViT LMT LMT LMT Moto-GPT (∆x2、∆θ_2、∆grip_2) 制御値 (∆xt, ∆θ_2, ∆grip_t)
18. Finetuningのプロセス詳細 • Attentionの⼯夫 • 動作予測には、過去の動作トークン情報のみ必要、動作トー クンからAction Query Tokenへのアテンションはマスク • Action Query Tokenから動作トークンへのアテンションを半 分程度ランダムにマスクすると過学習せず安定した • Finetuning中にも制御のみでなく動作トークンの予測 についても学習
19. 1 2 3 論⽂の背景‧動機 ⼿法の詳細 実験
20. 実験環境 • SIMPLER • CALVIN • 実環境 SIMPLER CALVIN 実環境
21. 学習データ • SIMPLER • Open-X-Embodiment (OXE)のサブセットである109k個の動 画で事前学習 • RT-1 Robot-ActionσʔληοτΛར༻ɺ73kݸͷΞΫγϣϯ ϥϕϧ෇͖σʔλͰFinetuning • CALVIN • 18k個の動画で事前学習‧Finetuningをそれぞれ実施 • 実環境 • Finetuningでは30個 x 3タスクのデータをテレオペで収集
22. • 計算リソース（VRAM） • LMT：40GB x 4枚 • Moto-GPT ：40GB x 8枚 • Finetuning ：40GB x 4枚 • 学習量 • SIMPLER • 350k iteration (LMT)、10epoch（Moto-GPT） • CALVIN • 150 iteration (LMT)、18 epoch (Moto-GPT) • 実環境 • 500iteration (LMT、SIMPLERのモデルに追加） • 5epoch (Moto-GPT、SIMPLERのモデルに追加） 計算環境‧モデル
23. 実験内容 • 解釈性 • Latent Motion Tokenizerが効率よくトークナイズできてるか • 予測性 • Moto-GPTが事前学習ちゃんと出来てるか • 性能 • Finetuningでロボットがちゃんと動けるか
24. LMTの解釈性に関する実験 • 動きの意味や⼀貫性を表現できるかについて検証 • 同じ動作トークンで次の画像を予測⽣成し、同じ意味 の動作になることを確認
25. LMTの解釈性に関する実験 • 元のビデオから抽出したトークンを、別環境の画像と 組み合わせて動画シーケンスを⽣成 • 意味的に正しい動画が⽣成できることを確認
26. LMTの解釈性に関する実験 • 初期フレームの画像に対して、続く7フレームの画像を ⽣成し、⽣成した動画を34タスクの中から分類 • 元画像を直接利⽤した場合と遜⾊ない精度であること を確認
27. Moto-GPTの予測性の実験 • 初期フレームを与えて、異なるタスクを与えた場合に、 タスクに応じた画像が⽣成できることを確認
28. Finetuningした際のロボットの性能の実験 • モデルサイズ⼩（98M）で、制御に関する情報を Finetuning時点まで使わなかったのにかかわらず、⼤ 規模なモデルと同等の性能を達成
29. Finetuningした際のロボットの性能の実験 • 動作トークンを利⽤しない場合との⽐較 • 全てのタスクにおいて⼤幅に性能向上 • 視覚的な妨害要素や新規物体を追加した場合でも性能向上
30. ⼈間の動画を⽤いた場合の検証 • SSV2データから105k個の関連する⼈間の動画を抽出、 109k個のOXEロボット動画と組み合わせて学習 • ⼈間の動画を追加すると性能が向上
31. ⼈間の動画を⽤いた場合の検証 • ⼈間の動作から得られる動作トークンをロボットに適 ⽤しても、同じ意図になることを確認 • 将来的には⼈間の動作をプロンプトとして与えられるように なることを⽰唆
32. おわりに • 提案⼿法動作に関するトークンにより、画像や⾔語と 同様にGPTの仕組みを利⽤してロボット制御に橋渡し をする⼿法を提案 • ⼤規模な制御データを利⽤した場合と同程度の性能が 出ることを確認 • 事前学習にはアクションラベルが不要であり、VLAの基 盤モデルよりも容易に構築することが可能