[RSJ26] Building a VLA Model Based on Self-Distilled Classification

Transcript

1. Self-Distilled Classificationに基づくVLAの構築 慶應義塾大学 萱原大智 髙木裕輔 神原元就 妹尾幸樹 杉浦孔明
2. Motivation: VLAにおいて LLMの事前知識を保ちつつ出力候補を絞りたい 背景: 多くのVLAはLLMをバックボーンとし、事前学習の知識を活用  離散トークン予測では、テキストとして軌道を生成（99.2%の語彙は無駄） 本研究: 自己蒸留分類ヘッドで事前知識を活用しつつ、出力候補を限定 軌道生成に用いる語彙 OpenVLA [Kim+, CoRL24] 2
3. 関連研究: LLMの事前知識の活用と細かな軌道表現の両立は困難 手法 概要 OpenVLA [Kim+, CoRL24] トークンの分類タスクとして軌道を生成  量子化誤差により細かな軌道表現が困難 𝜋0 -FAST [Pertsch+, RSS25] VLA-Adapter [Wang+, AAAI26] 連続値回帰として軌道を生成 AnoleVLA [髙木+, RSJ26] OpenVLA  LLMの事前知識の活用が不十分 AnoleVLA 3
4. 提案手法: 自己蒸留分類ヘッドと連続回帰ヘッドの併用 ① 離散・連続ヘッドの併用: ☺ 事前知識を活かす離散予測と、量子化誤差のない連続予測を両立 ② 自己蒸留分類ヘッド: ☺ 軽量なヘッドで出力候補を全語彙から数字トークンのみに限定 4
5. 提案手法: 自己蒸留分類ヘッドと連続回帰ヘッドの併用 ① 離散・連続ヘッドの併用: ☺ 事前知識を活かす離散予測と、量子化誤差のない連続予測を両立 ② 自己蒸留分類ヘッド: ☺ 軽量なヘッドで出力候補を全語彙から数字トークンのみに限定 5
6. 提案手法: 自己蒸留分類ヘッドと連続回帰ヘッドの併用 ① 離散・連続ヘッドの併用: ☺ 事前知識を活かす離散予測と、量子化誤差のない連続予測を両立 ② 自己蒸留分類ヘッド: ☺ 軽量なヘッドで出力候補を全語彙から数字トークンのみに限定 6
7. 自己蒸留分類ヘッド: 出力を数字トークンのみに限定 "Grasp the puck from one bin and place it into another bin." LLMの 出力層 バックボーン  数字トークン以外にもロジットが分散 [Koyama+, EMNLP26(採択率15.4%)] 数字トークン その他の語彙 7
8. 自己蒸留分類ヘッド: 出力を数字トークンのみに限定  数字トークン以外にもロジットが分散 [Koyama+, EMNLP26(採択率15.4%)] "Grasp the puck from one bin and place it into another bin." 自己蒸留 分類ヘッド 数字トークンのみ LLMの 出力層 バックボーン 数字予測を軽量ヘッドへ自己蒸留 ☺ 出力候補が数字トークンに限定 数字トークン その他の語彙 8
9. 実験設定: Meta-Worldの多様な物体操作タスクで評価 ベンチマーク: Meta-World [Yu+, CoRL19] ◼ 卓上環境における50種類の物体操作、全2,500エピソード、各タスク2回ずつ評価 ◼ Easy、Medium、Hard、Very Hardの4難易度 ベースライン ◼ 小規模: TinyVLA [Wen+, RA-L25]、SmolVLA [Shukor+, 25]、AnoleVLA [髙木+, RSJ26] ◼ 大規模: 𝜋0.5 [Black+, CoRL25] Easy: "Push and close a drawer." Medium: "Hammer a screw on the wall." Hard: "Pick and place a puck to a goal." Very Hard: "Pick and place a puck onto a shelf." 9
10. 定量的結果: 全難易度でベースラインを上回る成功率 10
11. 定量的結果: 全難易度でベースラインを上回る成功率 ☺ 最良ベースラインを 20ポイント上回る 11
12. 定性的結果: 対象物の把持とその後の動作に成功 Grasp the puck from one bin and place it into another bin. 提案手法 ☺ 他方の容器へ移動 AnoleVLA  把持できず失敗 Grasp the cover and close the box with it. 提案手法 ☺ 蓋を把持し閉鎖 AnoleVLA  蓋を把持できず失敗 12
13. Ablation Study: ヘッドの併用と自己蒸留がともに寄与 連続回帰ヘッド 提案手法 自己蒸留分類ヘッド LLMの出力層 平均成功率 [%] 88.2 82.6 18.7 58.4 13
14. Ablation Study: ヘッドの併用と自己蒸留がともに寄与 連続回帰ヘッド 自己蒸留分類ヘッド LLMの出力層 提案手法 平均成功率 [%] 88.2 ☺ 自己蒸留分類・連続回帰ヘッドの 併用により性能向上 82.6 18.7 58.4 14
15. Ablation Study: ヘッドの併用と自己蒸留がともに寄与 連続回帰ヘッド 提案手法 自己蒸留分類ヘッド LLMの出力層 平均成功率 [%] 88.2 82.6 ☺ 自己蒸留分類ヘッドの 使用により性能向上 18.7 58.4 15
16. まとめ: 自己蒸留分類ヘッドと連続回帰ヘッドの併用したVLAを構築 背景: 離散トークン予測ではLLMの出力層で軌道を生成、用いるのは全語彙の一部 ① 離散・連続ヘッドの併用: ☺ 事前知識を活かす離散予測と、量子化誤差のない連続予測を両立 ② 自己蒸留分類ヘッド: ☺ 軽量なヘッドで出力候補を全語彙から数字トークンのみに限定 ☺ Meta-Worldにおいて全てのベースラインをタスク成功率において上回った 自己蒸留分類ヘッド 予測軌道 バックボーン 連続回帰ヘッド "Grasp the puck from one bin and place it into another bin." 16
17. Appendix
18. Metaworldでの物体操作の成功例 18
19. エラー分析: 対象物体や目標位置の推定に失敗 エラーカテゴリ エラー数 対象物体または目標位置の推定の失敗 46 操作位置推定の失敗 22 動作の未完遂 9 19
20. ステージ1: 出力層を凍結し、バックボーンを軌道生成に適応  LLMは軌道生成に未適応 参照軌道 予測をステージ2の 擬似教師信号とする ”05 15 19 00” 出力層の予測 ◼ 軌道を数字トークンとして予測が可能に ◼ 訓練後のモデルを用いて、擬似教師信号を生成 20
21. ステージ2: バックボーンを凍結し、出力層の予測を蒸留  LLMの出力層は軌道生成に不要な語彙も出力 擬似教師信号 分類ヘッドの予測 ステージ1で生成 例: ”05 15 19 00” ◼ 出力空間を限定しつつ、LLMの事前知識を継承 21
22. ステージ3: 分類ヘッドを凍結し、連続値の予測能力を獲得  離散値のみでは細かな軌道表現が困難 連続回帰ヘッド のL1損失 自己蒸留分類ヘッド のCE ☺ 分類能力を保ちつつ、連続値の予測能力を獲得 22