Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI23] Switching Head–Tail Funnel UNITER: Multimodal Instruction Comprehension for Object Manipulation Tasks
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 31, 2023
Technology
0
450
[JSAI23] Switching Head–Tail Funnel UNITER: Multimodal Instruction Comprehension for Object Manipulation Tasks
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 31, 2023
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding
keio_smilab
PRO
0
120
[NLP24] Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
keio_smilab
PRO
1
210
[Journal club] Accelerating Toeplitz Neural Network with Constant-time Inference Complexity
keio_smilab
PRO
0
46
[Journal club] TIES-Merging: Resolving Interference When Merging Models
keio_smilab
PRO
0
160
[Journal Club]Interfacing Foundation Models’ Embeddings
keio_smilab
PRO
1
130
[Journal club] Toeplitz Neural Network for Sequence Modeling
keio_smilab
PRO
2
400
Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks
keio_smilab
PRO
0
140
Supervised Automatic Evaluation for Image Captioning Based on Multimodality
keio_smilab
PRO
0
170
[Journal Club] Hyperbolic Image-Text Representations
keio_smilab
PRO
0
320
Other Decks in Technology
See All in Technology
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
250
個人的、Kubernetes の最新注目機能! (2024年5月版) / TechFeed Experts Night#28 〜 コンテナ技術最前線
pfn
PRO
1
140
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
370
「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用
nrryuya
8
6.5k
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
510
Building Dashboards as a Hobby
egmc
0
430
データ基盤を支える技術
chanyou0311
1
140
IaCジェネレーターとBedrockで詳細設計書を生成してみた
tsukasa_ishimaru
4
950
Grafana x PagerDuty Better Together
jacopen
1
340
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
1
1.9k
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
730
DevRelによる信頼構築とデータ駆動で変わるエンジニア採用 / DevRel Trust Building to Data Driven Engineering Hiring
bobtani
1
100
Featured
See All Featured
A Philosophy of Restraint
colly
197
16k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Typedesign – Prime Four
hannesfritz
36
2.1k
Why Our Code Smells
bkeepers
PRO
331
56k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
Optimising Largest Contentful Paint
csswizardry
13
2.4k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
Writing Fast Ruby
sferik
622
60k
The Language of Interfaces
destraynor
151
23k
Designing with Data
zakiwarfel
96
4.8k
Infographics Made Easy
chrislema
238
18k
A designer walks into a library…
pauljervisheath
201
23k
Transcript
慶應義塾大学 是方諒介,神原元就,吉田悠,石川慎太朗, 川崎陽祐,髙橋正樹,杉浦孔明 Switching Head-Tail Funnel UNITERによる 対象物体および配置目標に関する 指示文理解と物体操作
背景:生活支援ロボットに自然言語で指示できると便利 - 2 - World Robot Summit (WRS) [Okada+, AR19]
▪ 高齢化が進行する現代社会 ▪ 日常生活における介助支援需要の高まり ▪ 生活支援ロボット ▪ 被介助者を物理的に支援可能 ▪ 在宅介助者不足解消に期待 りんごを キッチンに 運んで
問題設定:Dual Referring Expression Comprehension with fetch-and-carry (DREC-fc) ▪ 物体検出により抽出した各領域から, および
を特定 ▪ そのうえで,把持・配置動作を実行 ▪ 入力 ① 指示文 ② 対象物体候補が写る画像 ③ 配置目標候補が写る画像 ▪ 出力 ▪ 対象物体候補および配置目標候補が, ともに指示文のGround Truthに一致する確率 “Move the on the left side of the plate to the empty .” 対象物体 配置目標 bottle chair - 3 -
関連研究: Vision-and-Language + Roboticsに関する多様なタスク - 4 - タスク 手法・データセット 概要
VLN ALFRED [Shridhar+, CVPR20] 自然言語の指示文に対応する模範動作 から構成されるデータセット ObjNav OMT [Fukushima+, ICRA22] Object-Scene Memoryを用いて, シーケンス中の物体に注目 MLU-FI TdU [Ishikawa+, RA-L21] 物体操作指示理解分野に,UNITER [Chen+, ECCV20] 型注意機構を導入 ALFRED OMT
TdUの課題: 要する推論回数が膨大で,リアルタイム性において非実用的 ▪ 目標:指示文に対する最尤のペア(対象物体,配置目標)を探索 推論回数の計算量が 𝑶(𝑴 × 𝑵) 例:𝑀
= 𝑁 = 100,1回の推論時間を4 × 10−3秒と仮定 判断に40秒必要 𝑴:対象物体候補数 𝑵:配置目標候補数 ( , ) … ( , ) ? - 5 - 屋内環境
提案手法:Switching Head-Tail Funnel UNITER (SHeFU) - 6 - ▪ 新規性
▪ 単一モデルで,対象物体/配置目標を個別に予測可能 ▪ 推論回数の計算量を𝑶(𝑴 + 𝑵)に削減可能 ( , ) ( ),… ,( ) ( ),… ,( ) !
提案手法:Switching Head-Tail Funnel UNITER (SHeFU) - 7 - 1 1
2 𝑁 2 𝑀 ・ ・ ・ ・ ・ ・ 1 2 𝑗 ・ ・ ・ 𝑀 ・ ・ ・ 1 2 𝑘 ・ ・ ・ 𝑁 ・ ・ ・ Step 1: Step 2: ☺ 𝑂(𝑀 + 𝑁) 𝑂(𝑀 × 𝑁) ▪ 新規性 ▪ 単一モデルで,対象物体/配置目標を個別に予測可能 ▪ 推論回数の計算量を𝑶(𝑴 + 𝑵)に削減可能 ( , ) ( ),… ,( ) ( ),… ,( ) !
▪ ① target mode:対象物体を予測,② destination mode:配置目標を予測 ▪ 𝒙targ , 𝒙dest
, 𝒙 det (𝑖) :Faster R-CNN [Ren+, PAMI16] による領域の特徴量 1. Switching Image Embedder: Switching head機構により,予測対象に応じて入力切替 不要な入力を0埋めして条件付け 𝒙targ , 𝒙dest = ቊ (𝒙targ , 𝟎) if 𝐭𝐚𝐫𝐠𝐞𝐭 mode (𝟎, 𝒙dest ) if 𝐝𝐞𝐬𝐭𝐢𝐧𝐚𝐭𝐢𝐨𝐧 mode - 8 -
2. Funnel Transformer: self-attentionの後,Switching tail機構によりモードに応じて確率を出力 ▪ Funnel Transformer [Dai+, NeurIPS20]
を𝐿層反復 ▪ target modeでは𝑝(ෝ 𝒚targ ),destination modeでは𝑝(ෝ 𝒚dest )を予測確率と解釈 ▪ 単一モデルでマルチタスク学習 ℒ = 𝜆targ ℒCE 𝑦targ , 𝑝 ො 𝑦targ + 𝜆dest ℒCE 𝑦dest , 𝑝 ො 𝑦dest 𝜆⋅ :ハイパーパラメータ ℒCE :交差エントロピー誤差 - 9 -
実験設定:”ALFRED-fc” データセットを収集し,性能を評価 ▪ ALFRED [Shridhar+, CVPR20] ▪ 物体操作を含むVision-and-Language Navigationの標準データセット ▪
ALFRED-fc (fetch and carry):DREC-fcタスクのための新規データセット ☺ ALFREDから,物体把持直前/配置直後の画像を収集 ☺ 配置後の物体を0埋めしてマスク 把持中の物体で 視野が遮蔽 配置後の物体が写る 配置動作の例 - 10 -
定量的結果:ベースライン手法を上回る性能を達成 ▪ 対象物体/配置目標を同時に予測するベースライン手法に合わせて評価 ▪ 正解ラベル(真偽値): 𝑦 = 𝑦targ ∩ 𝑦dest
▪ 予測ラベル(真偽値): ො 𝑦 = ො 𝑦targ ∩ ො 𝑦dest ✓ ベースライン手法を精度で上回る ✓ Switching head/tail機構はともに有効 手法 Accuracy [%] extended TdU [Ishikawa+, RA-L21] 79.4 ± 2.76 提案手法 (W/o Switching head機構) 76.9 ± 2.91 提案手法 (W/o Switching tail機構) 78.4 ± 2.05 提案手法 (SHeFU) 83.1 ± 2.00 +3.7 - 11 -
定性的結果:正例に対する成功例 ▪ 指示文:”Move the soap from the shelves to the
metal rack .” ☺ 対象物体候補 / 配置目標候補が, ともにGround Truthに一致すると正しく予測 - 12 -
定性的結果:負例に対する失敗例 - 13 - ▪ 指示文:”Put a towel in the
bath tub .” 対象物体候補が, Ground Truthに一致すると誤って予測 対象物体候補が, 鏡に映っている と判断するのは 難解
実験設定(実機):言語理解 + 把持・配置動作 - 14 - 8x 家具を複数視点から撮影するwaypoint(16個)を巡回 ▪ 環境:WRS
2020 Partner Robot Challenge/Real Spaceの標準環境に準拠 ▪ 実機:Human Support Robot (HSR) [Yamamoto+, ROBOMECH J.19] ▪ 物体:YCB Object [Calli+, RAM15] ▪ 評価指標:言語理解精度,タスク成功率(把持・配置)
実機動作:移動・把持・配置動作はヒューリスティック - 15 - ▪ 移動 ▪ 把持 ▪ 配置
RGB / Depth / ハンドカメラ ハンドカメラ rviz rviz rviz 8x 1.5x 1.5x
定量的結果(実機):把持・配置動作を高い成功率で実行 - 16 - ▪ 参照表現を含む指示文を与え,ゼロショット転移による評価 ▪ 正例・負例を作成(ALFRED-fcデータセットと同様) ▪ 言語理解においてTrue
Positiveであった場合のみ,把持・配置動作を実行 ✓ 言語理解と把持・配置動作を統合可能であることを示唆 手法 Accuracy [%] extended TdU [Ishikawa+, RA-L21] 52.0 提案手法 (SHeFU) 55.9 タスク 成功回数 / 試行回数 成功率 [%] 把持 60 / 63 95 配置 56 / 60 93 +3.9
定性的結果(実機):成功例 - 17 - 4x ▪ 指示文:”Put the red chips
can on the white table with the soccer ball on it.” 対象物体 / 対象物体候補 配置目標 / 配置目標候補 ☺ 言語理解,把持, および配置の一連動作を正確に実行
まとめ - 18 - ▪ 背景 ✓ 生活支援ロボットに対して 自然言語で指示できると便利 ▪
提案 ✓ Switching head-tail機構の導入により, 単一モデルで対象物体および配置目標 を個別に予測 ▪ 結果 ✓ シミュレーション環境・実機環境において, ベースライン手法を言語理解精度で上回った ✓ 言語理解と把持・配置動作実行を統合可能 4x
Appendix
関連タスク - 20 - ▪ Referring Expression Comprehension ▪ Referring
Expression Segmentation ▪ Visual Question Answering ▪ Embodied Question Answering ▪ Vision-and-Language Navigation ▪ Object Goal Navigation ▪ Embodied Instruction Following ▪ Multimodal Language Understanding for Fetching Instructions
Funnel Transformer [Dai+, NeurIPS20] - 21 - ▪ transformer [Vaswani+,
NeurIPS17] の計算コストを削減 ▪ シーケンスの長さを徐々に圧縮
ALFRED-fcに関する統計情報 - 22 - サンプル数(訓練:検証:テスト) 画像 指示文 語彙サイズ 平均文長 5748
(4420 : 642 : 686) 1099 3452 646 8.4
ハイパーパラメータ設定 - 23 - 最適化関数 Adam (𝛽1 = 0.9, 𝛽2
= 0.999) 学習率 8 × 10−5 ステップ数 20000 バッチサイズ 8 ドロップアウト 0.1 タスクの重み係数 𝜆targ = 1.0, 𝜆dest = 1.0
Ablation条件 - 24 - ▪ W/o Switching head機構 ▪ 各モードで𝒙targ
と𝒙dest を同一の値にする ▪ W/o Switching tail機構 ▪ 単一モデルで対象物体および配置目標に関するシングルタスク学習 𝒙targ , 𝒙dest = ቊ (𝒙targ , 𝒙targ ) if target mode (𝒙dest , 𝒙dest ) if destination mode
混同行列:ALFRED-fc - 25 - 予測ラベル Positive Negative 正解ラベル Positive 453
233 Negative 24 662
エラー分析:各モードで50例ずつ分析 - 26 - エラーID 詳細 Target Mode Destination Mode
SC 深刻な理解誤り 34 25 SOF 物体や家具の類似 8 7 SR 矩形領域の過小 7 0 IVI 視覚情報の不足 0 15 II 不完全な指示文 0 1 IL ラベル誤り 1 2 合計 - 50 50
実機:Human Support Robot [Yamamoto+, ROBOMECH J.19] - 27 - https://global.toyota/jp/download/8725215
▪ HSR:トヨタ自動車製の生活支援ロボット ▪ 頭部搭載のAsus Xtion Proカメラを使用
定性的結果(実機):把持・配置動作における失敗例 - 28 - ▪ 把持失敗例 ▪ 配置失敗例 点群が前面に集中
1.5x 柔らかい素材の家具は不安定 1.5x