[RSJ26] NarrativeFlow: Flow-Based Vision-Language-Action Model Using Robot Velocity Fields

Transcript

1. Flow Matchingと変化キャプショニング に基づく物体操作の学習 慶應義塾大学 小林菖太 妹尾幸樹 八島大地 杉浦孔明
2. Motivation: 少量のデータで事後学習を行いたい 背景：既存VLAはロボットごとに大規模な事後学習が必要 ▪ π 0.5 [Black+, CoRL25] ： 約400時間 本研究：ロボットの形態に依らない動作表現 Robot flowを活用 ☺ 少量のデータを用いた事後学習 ▪ cf. [Kambara+, RAL26], [Kaichi+, IROS26]，[妹尾+, RSJ26] Robot flow OXE [O'Neill+, ICRA24] π0.5 [Black+, CoRL25] 2
3. 問題設定: 言語指示に基づくフローを媒介とした物体操作 ① フロー生成：言語指示，初期画像 → Robot flow ：Robot flow，観測 → ロボットの関節角 Put the mustard in the bin. ① ② 現在観測 初期画像 言語指示 ② 物体操作 3
4. 問題設定: 言語指示に基づくフローを媒介とした物体操作 ① フロー生成：言語指示，初期画像 → Robot flow ：Robot flow，観測 → ロボットの関節角 Put the mustard in the bin. ① ② 現在観測 初期画像 言語指示 ② 物体操作 4
5. 問題設定: 言語指示に基づくフローを媒介とした物体操作 ① フロー生成：言語指示，初期画像 → Robot flow ：Robot flow，観測 → ロボットの関節角 Put the mustard in the bin. ① ② 現在観測 初期画像 言語指示 ② 物体操作 5
6. 関連研究: 既存手法はロボットの動作を粗く近似 手法 特徴 FLIP [Gao+, ICLR24] Im2Flow2Act [Xu+, CoRL24] LILAC [Kambara+, RAL26] ☺ 少量のロボットデータで事後学習  フローを有限差分でモデル化  フロー生成の品質が不十分  連続的な動作の粗い近似 LILAC Im2Flow2Act 6
7. Flow as Flow を言語指示設定に拡張 初期画像 Flow as Flow [妹尾+, RSJ26] ◼ Flow Matching に基づく定式化 ℒ𝐹aF = 𝔼𝑡,𝒙 𝒗 − 𝒗𝜃 𝒙, t 言語指示 Put the banana on the cloth. 2 Transformer Encoder 予測 ☺ フローを速度場でモデル化 ◼ 目標画像が条件  言語指示を扱えない を暗黙的に学習  物体操作に関連する意味情報を十分に捉えることが困難 Robot flow ◼ フロー生成損失ℒ 𝐹aF のみで中間表現 Flow-as-Flow Module 7
8. 提案: 変化キャプショニングに基づく補助損失項の導入 初期画像 Narrative Delta 損失 ▪ 初期画像と目標画像の間の変化キャプションをMLLMで生成 ☺ 中間表現 を物体操作に関連する意味情報と明示的に整合 言語指示 Put the banana on the cloth. the table to rest on the blue cloth. 2 The robot moves the banana from near the wall and places it between the fork and the pot. … 𝑁𝑐 the banana … Flow-as-Flow Module Robot flow MLLM 1 A banana is moved from the right side of … 目標画像 初期画像 Transformer Encoder 8
9. 実験設定: 形態の異なるロボットデータで訓練 ◼ Robot flow 生成 87,212 サンプル 60,064 サンプル Fractal [Brohan+, RSS23] Bridge V2 [Walke+, CoRL23] ◼ 物体操作 (HSR, 13タスク) ◼ 訓練：30エピソード/タスク ◼ 評価：20試行/タスク（計260試行/手法） … 9
10. 定量的結果: 4つのベンチマークでベースラインを上回った 手法 Fractal Bridge V2 ADE ↓ FDE ↓ ADE ↓ FDE ↓ 提案手法 21.68 31.59 30.59 42.42 FLIP [Gao+, ICLR24] 66.17 87.52 50.73 68.43 Im2Flow2Act [Xu+, CoRL24] 37.14 47.74 51.48 70.93 評価指標: Average Displacement Error, Final Displacement Error 10
11. 定量的結果: 4つのベンチマークでベースラインを上回った 手法 提案手法 Fractal Bridge V2 ADE ↓ FDE ↓ ADE ↓ FDE ↓ 21.68 31.59 30.59 42.42 FLIP [Gao+, ICLR24] 66.17 -15.46 87.52 50.73 -20.14 68.43 Im2Flow2Act [Xu+, CoRL24] 37.14 47.74 51.48 70.93 評価指標: Average Displacement Error, Final Displacement Error 11
12. 定性的結果: 言語指示に対応する適切なフローを生成 言語指示 初期画像 Im2Flow2Act 提案手法 Pick pepsi can from top shelf of fridge. 正しい ☺ 対象物体 Put the silver lid on the silver pot. 適切な ☺ 中間軌道 12
13. 実機実験: 物体操作に有効なフローを生成 言語指示 初期画像 物体操作 Robot flow x2 Stack cup. x1 Put chair away. 13
14. 実機実験: 平均成功率においてベースラインを上回った Mobile chair pushing Mobile drawer closing Mobile bin picking Mobile water pouring 提案手法 90 85 60 35 20 58 FLIP [Gao+, ICLR24] 35 50 25 5 10 28 Im2Flow2Act [Xu+, CoRL24] 70 成功率[%] 65 45 20 Mobile Avg. cup (13タスク) stacking 15 45 14 +13
15. まとめ 背景 ▪ 言語指示に基づくフローを媒介にした物体操作 ☺ 少量のロボットデータで事後学習  フローの品質が不十分 Pick pepsi can from top shelf of fridge. 新規性 ▪ Flow as Flowを言語指示設定に拡張 ▪ 変化キャプショニングに基づく補助損失項 結果 ▪ フロー生成タスクおよび実機実験で ベースライン手法を上回った x1 Take the towel from rack. 15
16. Appendix 16
17. Ablation Study: 補助損失項 補助損失項 提案手法 Fractal Bridge V2 ADE ↓ FDE ↓ ADE ↓ FDE ↓ 21.68 31.59 30.59 42.42 25.83 35.72 33.79 47.81 17
18. 提案: 特殊トークンを経路ごとに分離 初期画像 損失関数: 単一の特殊トークン（e.g., [CLS]トークン）  複数の学習信号が集中し，互いに干渉 言語指示 Put the banana on the cloth. The robot moves the banana from near the wall and places it between the fork and the pot. Flow-as-Flow Module Robot flow MLLM A banana is moved from the right side of the table to rest on the blue cloth. … 目標画像 初期画像 サブタスクトークン：経路ごとの特殊トークン ☺ 干渉を緩和し，各目的に応じた特徴表現を学習 18
19. 提案: 特殊トークンを経路ごとに分離 初期画像 損失関数: 単一の特殊トークン（e.g., [CLS]トークン）  複数の学習信号が集中し，互いに干渉 言語指示 Put the banana on the cloth. The robot moves the banana from near the wall and places it between the fork and the pot. Flow-as-Flow Module Robot flow MLLM A banana is moved from the right side of the table to rest on the blue cloth. … 目標画像 初期画像 サブタスクトークン：経路ごとの特殊トークン ☺ 干渉を緩和し，各目的に応じた特徴表現を学習 19
20. Ablation Study:サブタスクトークン サブタスクトーク ン 提案手法 2 Fractal Bridge V2 ADE ↓ FDE ↓ ADE ↓ FDE ↓ 21.68 31.59 30.59 42.42 1 24.72 33.96 33.20 45.30 0 23.20 32.91 33.41 47.40 20
21. 評価指標: ADE, FDE ▪ Average Displacement Error • ▪ Final Displacement Error : N個の特徴点の時刻tにおける画像内座標 𝑢𝑡𝑛 , 𝑣𝑡𝑛 の予測値と正解値 • 初期画像におけるエンドエフェクタ領域内の点を特徴点に設定． 21
22. エラー分析 フロー生成タスクにおける失敗例100サンプルを分析 ◼ マルチモーダル言語理解誤り • 言語指示と初期画像からタスクを誤って 理解し，言語指示に対応しない物体操作 言語指示 Place the spatula just behind the eggplant. 初期画像 提案手法 カテゴリ マルチモーダル言語理解誤り 30 中間軌道誤り 22 終端位置誤り 14 曖昧性を含む言語指示 9 対象物体の遮蔽 8 アノテーションエラー 17 合計 100 22