Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24]Task Success Prediction for Object Mani...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 24, 2024
Technology
0
920
[JSAI24]Task Success Prediction for Object Manipulation Based on Scene, Aligned, and Narrative Representations
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 24, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[RSJ25] Feasible RAG: Hierarchical Multimodal Retrieval with Feasibility-Aware Embodied Memory for Mobile Manipulation
keio_smilab
PRO
0
93
[RSJ25] LILAC: Language‑Conditioned Object‑Centric Optical Flow for Open‑Loop Trajectory Generation
keio_smilab
PRO
0
62
[RSJ25] Multilingual Scene Text-Aware Multimodal Retrieval for Everyday Objects Based on Deep State Space Models
keio_smilab
PRO
0
69
[RSJ25] Everyday Object Manipulation Based on Scene Text-Aware Multimodal Retrieval
keio_smilab
PRO
1
56
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
90
[Journal club] Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
keio_smilab
PRO
0
53
[Journal club] Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
keio_smilab
PRO
0
52
[Journal club] Influence-Balanced Loss for Imbalanced Visual Classification
keio_smilab
PRO
0
17
[Journal club] Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval
keio_smilab
PRO
0
33
Other Decks in Technology
See All in Technology
5年目から始める Vue3 サイト改善 #frontendo
tacck
PRO
3
130
JuniorからSeniorまで: DevOpsエンジニアの成長ロードマップ
yuriemori
2
350
生成AI時代のデータ基盤
shibuiwilliam
4
2.7k
自作JSエンジンに推しプロポーザルを実装したい!
sajikix
1
110
PRDの正しい使い方 ~AI時代にも効く思考・対話・成長ツールとして~
techtekt
PRO
0
1.1k
Kiroと学ぶコンテキストエンジニアリング
oikon48
6
7.8k
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
330
進捗
ydah
2
230
攻撃と防御で実践するプロダクトセキュリティ演習~導入パート~
recruitengineers
PRO
4
1.8k
AIのグローバルトレンド2025 #scrummikawa / global ai trend
kyonmm
PRO
1
190
Skrub: machine-learning with dataframes
gaelvaroquaux
0
110
JavaScript 研修
recruitengineers
PRO
6
1.4k
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
39k
Making Projects Easy
brettharned
117
6.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
6k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Automating Front-end Workflow
addyosmani
1370
200k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
27k
The Straight Up "How To Draw Better" Workshop
denniskardys
236
140k
Into the Great Unknown - MozCon
thekraken
40
2k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Done Done
chrislema
185
16k
KATA
mclloyd
32
14k
Transcript
慶應義塾⼤学 齋藤⼤地,◦神原元就,九曜克之,杉浦孔明 マルチモーダルLLMおよび視覚⾔語基盤モデルに基づく ⼤規模物体操作データセットにおけるタスク成功判定
概要 - 2 - ▪ タスク ▪ マニピュレータによる物体操作におけるタスク成否判定 ▪ 新規性
▪ 3種類の視覚表現を組み合わせた -Representation ▪ MLLM, 視覚⾔語基盤モデル, シングルモーダル特徴量 抽出器 ▪ 実験結果 ▪ 精度においてMLLMを含むベースライン⼿法を上回る 4x
背景︓マニピュレータの物体操作ではタスク成否判定が重要 - 3 - ▪ マニピュレータによる物体操作 Instead of this fork,
bring a spoon. 様々なサブタスク 把持中のフォークを他の場所に置く/引き出しを開ける/ フォークを把持し引き出しに置く/スプーンを引き出しから取る等 ロボットに各サブタスクの成否を適切に評価する能⼒があれば便利 失敗を検知した時点でタスクを終了することで効率・安全性が向上 https://agrist.com/archives/1873 https://www.sankei.com/article/20220309-IIRCRHG6GRPMVKT3C4NT7MPNOI/
問題設定︓物体操作に対するタスク成否判定 - 4 - ▪ マニピュレータによるTable-Top物体操作タスクにおけるタスク成否判定 • ⼊⼒︓指⽰⽂および物体操作前後の画像 • 出⼒︓ロボットが物体操作に成功した確率の予測値
Success Failure Status 0.8 0.2 “Pick up orange from white bowl”
関連研究︓LLMによるタスク成否判定は性能が不⼗分 - 5 - ⼿法 概要 SayCan [Anthony+, CoRL23] LLM及び価値関数を⽤いてサブタスクを決定
Inner Monologue [Wenlong+, CoRL23] LLMを⽤いた3種類のフィードバック機構により タスクの実⾏を決定 PaLM-E [Danny+, ICML23] 実世界の観測値を⾔語の埋め込み空間に組み込む [Huang+, CoRL22] 実世界とのインタラクションを通して成否を判定 Inner Monologue [Wenlong+, CoRL23] PaLM-E [Danny+, ICML23]
関連研究︓LLMによるタスク成否判定は性能が不⼗分 - 6 - ⼿法 概要 SayCan [Anthony+, CoRL23] LLM及び価値関数を⽤いてサブタスクを決定
Inner Monologue [Wenlong+, CoRL23] LLMを⽤いた3種類のフィードバック機構により タスクの実⾏を決定 PaLM-E [Danny+, ICML23] 実世界の観測値を⾔語の埋め込み空間に組み込む [Huang+, CoRL22] 実世界とのインタラクションを通して成否を判定 Inner Monologue [Wenlong+, CoRL23] PaLM-E [Danny+, ICML23]
画像内の情報をあらゆる粒度で抽出したい - 7 - “Pick up the orange in the
most left side from white bowl” タスクにおいて重要な点 物体操作前後の画像内において,何がどのように変化したか • 画像中に存在する物体群 • 各物体の位置関係 • 左端のオレンジの位置 • その他の物体の位置・状態
物体操作におけるタスク成否判定機構 - 8 - 1. 3種類の潜在表現を全て組み合わせた -Representationを導⼊ a. ⾊や形状などの視覚的な特徴を保持した特徴量 b.
⾃然⾔語にアラインされた特徴量 c. ⾃然⾔語を媒介として構造化された特徴量 2. -Representation Encoder 1. 物体操作前後の画像に対して -Representationのcross-attentionを 計算
λ-Representation: 各解像度において特徴量を抽出 - 9 - • ⾼次特徴量 • 中次特徴量 •
低次特徴量 • MLLM • ⾔語を媒介とした特徴量 • 参照表現・構造化された空間表現 • 視覚⾔語基盤モデル (CLIP等) • ⾔語とアラインされた画像特徴量 • シングルモーダル特徴量抽出器 (ViT等) • 詳細な視覚情報(テクスチャ等)の抽出
λ-Representation Encoder: 物体操作前後の差分に注⽬ - 10 - ▪ 3つの視覚表現を統合し -Representationを取得 ▪
物体操作前後の -Representationに対しcross-attentionを計算 ロボットが物体操作を適切に実⾏した確率の予測値 ︓transformer encoder ︓transformer decoder ︓feedforward network ︓予測ラベル 物体操作前後の特徴量の差分に注⽬: 指⽰⽂と差分はマッチングしているか︖
実験設定︓2種類のデータセットを構築 - 11 - ▪ SP-RT-1データセット • 13,915サンプルを含む実世界データセット • RT-1データセット
[Brohan+, 22]をもとに構築 ▪ SP-VLMbenchデータセット • 8,326サンプルを含むシミュレーションデータセット • VLMbench [Zheng+, NeurIPS22]をもとに構築 実世界の物体操作のための標準⼤規模データセット 物体操作タスクのための標準的なベンチマーク 1x VLMbench [Zheng+, NeurIPS22] RT-1 [Brohan+, 22] 4x
定量的結果︓2つのデータセットでベースライン⼿法を上回る - 12 - ▪ SP-RT-1及びSP-VLMbenchにおいて性能を評価 ▪ 精度において全てのベースライン尺度を上回る ⼿法 精度
[%] SP-RT-1 SP-VLMbench InstructBLIP 52.30±0.74 41.30±0.87 Gemini 64.12±1.21 56.15±2.69 GPT-4V 69.12±0.78 57.81±0.79 UNITER 69.08±1.77 68.22±0.90 Ours 74.50±1.44 78.92±0.68 Ours (extended) 80.80±0.86 ー +11.72 +10.70 MLLM
定性的結果︓物体の状態について適切に考慮 - 13 - ▪ ペットボトルは存在するが,右上でないかつ倒れてしまっている “Place water bottle upright.”
• 正解: Failure • Ours: Failure 提案⼿法は適切に評価 • GPT-4V: Success GPT-4Vは誤って評価
定性的結果︓物体の位置関係について適切に考慮 - 14 - ▪ ⾚いペンを,適切に⻘いコンテナ内に配置することができている “Drop the red pencil
into the navy container.” • 正解: Success • Ours: Success 提案⼿法は適切に評価 • GPT-4V: Failure GPT-4Vは誤って評価
Ablation study︓ -Representationの有効性を調査 - 15 - ▪ SP-RT-1データセットにおいて,低次特徴量 (SR), 中次特徴量
(AR), ⾼次 特徴量(NR)の性能への寄与を調査 ▪ NRが最も性能向上へ寄与 Model SR AR NR Accuracy [%] SP-RT-1 SP-VLMbench (i) ✔ ✔ 73.30±1.27 75.80±0.62 (ii) ✔ ✔ 72.11±1.19 74.44±1.44 (iii) ✔ ✔ 72.02±1.55 73.74±1.84 (iv) ✔ ✔ ✔ 74.50±1.44 78.92±0.68 +2.48 +5.18
実機実験︓ゼロショット転移設定においても有効性を確認 - 16 - 4x HSRを⽤いてTable-Top物体操作,タスク成否予測を実⾏ ⼿法 精度 [%] Ours
(extended) 59±1.9 “move the light blue cup to the left front”: Success “move the light blue cup to the right front area”: Failure J
まとめ - 17 - ▪ タスク ▪ マニピュレータによる物体操作におけるタスク成否判定 ▪ 新規性
▪ 3種類の視覚表現を組み合わせた -Representation ▪ MLLM, 視覚⾔語基盤モデル, シングルモーダル特徴量 抽出器 ▪ 実験結果 ▪ 精度においてMLLMを含むベースライン⼿法を上回る 論⽂PDF 4x
定性的結果︓ いくつかのサンプルではオクルージョンにより予測が困難 - 20 - ▪ 7upの⽸は配置時の衝撃で倒れているが,アームが被っている • 正解: Failure
• Ours: Success “Pick 7up can from bottom drawer and place on counter.”
エラー分析︓物体についての理解が不⾜ - 21 - エラー #エラー (1) Multimodal Language Comprehension
Error 45 (2) Occlusion 26 (3) Ambiguous Situation 9 (4) Narrative Hallucination 9 (5) Out-of-Frame 6 (6) Ambiguous Instruction 5 計 100 ・マルチモーダル⾔語理解について性能が不⼗分 ・物体についての理解が重要 ex. キャプション⽣成的アプローチ