Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Augmentation Based on Cross-Modal Back Tra...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
September 04, 2021
Technology
0
1k
Data Augmentation Based on Cross-Modal Back Translation for Multimodal Language Understanding for Fetching Instruction
Semantic Machine Intelligence Lab., Keio Univ.
PRO
September 04, 2021
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] GraphEQA: Using 3D Semantic Scene Graphs for Real-time Embodied Question Answering
keio_smilab
PRO
0
54
[RSJ25] Feasible RAG: Hierarchical Multimodal Retrieval with Feasibility-Aware Embodied Memory for Mobile Manipulation
keio_smilab
PRO
0
150
[RSJ25] LILAC: Language‑Conditioned Object‑Centric Optical Flow for Open‑Loop Trajectory Generation
keio_smilab
PRO
0
97
[RSJ25] Multilingual Scene Text-Aware Multimodal Retrieval for Everyday Objects Based on Deep State Space Models
keio_smilab
PRO
0
96
[RSJ25] Everyday Object Manipulation Based on Scene Text-Aware Multimodal Retrieval
keio_smilab
PRO
1
80
[RSJ25] Enhancing VLA Performance in Understanding and Executing Free-form Instructions via Visual Prompt-based Paraphrasing
keio_smilab
PRO
0
150
[Journal club] Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
keio_smilab
PRO
0
65
[Journal club] Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
keio_smilab
PRO
0
60
[Journal club] Influence-Balanced Loss for Imbalanced Visual Classification
keio_smilab
PRO
0
29
Other Decks in Technology
See All in Technology
「れきちず」のこれまでとこれから - 誰にでもわかりやすい歴史地図を目指して / FOSS4G 2025 Japan
hjmkth
1
340
「魔法少女まどか☆マギカ Magia Exedra」の多様なバトルの開発を柔軟かつ効率的に実現するためのPure C#とUnityの分離について
gree_tech
PRO
0
100
Kubernetes self-healing of your workload
hwchiu
0
270
OSSで50の競合と戦うためにやったこと
yamadashy
2
450
Copilot Studio ハンズオン - 生成オーケストレーションモード
tomoyasasakimskk
0
160
いまからでも遅くない!SSL/TLS証明書超入門(It's not too late to start! SSL/TLS Certificates: The Absolute Beginner's Guide)
norimuraz
0
290
CoRL 2025 Survey
harukiabe
1
230
Biz職でもDifyでできる! 「触らないAIワークフロー」を実現する方法
igarashikana
3
1.1k
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
2
680
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
700
Dylib Hijacking on macOS: Dead or Alive?
patrickwardle
0
410
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
7
4.3k
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
What's in a price? How to price your products and services
michaelherold
246
12k
The World Runs on Bad Software
bkeepers
PRO
72
11k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Speed Design
sergeychernyshev
32
1.2k
Leading Effective Engineering Teams in the AI Era
addyosmani
7
510
Faster Mobile Websites
deanohume
310
31k
How to Ace a Technical Interview
jacobian
280
24k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Transcript
慶應義塾大学 飯田紡,九曜克之,石川慎太朗,杉浦孔明 物体指示理解タスクにおける クロスモーダル言語生成に基づくデータ拡張
背景︓⽣活⽀援ロボットに⾃然⾔語で命令できれば便利 2 ⽣活⽀援ロボット • 障がいを持つ⼈々を物理的に⽀援可能 • 在宅介護者不⾜を克服 スムーズな対話に基づいて ⽣活⽀援タスクを実⾏できれば便利 例)「机の上の飲み物を取ってきて」
対象物体の特定が困難なシーンが存在 3 対象物体の特定が困難な場合がある • 表現が曖昧 • 対象物体候補が複数存在 命令⽂中の参照表現を理解する必要がある “Grab the
red can near to white bottle and put it in the lower left box.” どっちの ⽸︖
問題設定︓物体操作指⽰理解 4 MLU-FI (Multimodal Language Understanding for Fetching Instruction) 命令⽂と画像をもとに,命令⽂中の移動対象物体を特定
⼊⼒︓対象物体候補の領域, 画像中の各物体の領域, 命令⽂ 出⼒︓候補領域中の物体が対象物体である確率の予測値 の物体は命令⽂中の移動対象物体︖ コンテキスト領域 候補領域 move the pink toy animal. 対象物体
関連研究︓物体指⽰理解における既存⼿法はサンプル効率が悪い 6 • [Hatori+ ICRA18] – 物体のピッキングタスクにおける指⽰理解⼿法 • MTCM, MTCM-AB
[Magassouba+ ICRA19, 20] – 命令⽂と全体画像から対象物体を特定 • Target-dependent UNITER[Ishikawa+ RAL & IROS21] – 全体画像の代わりに物体領域を⼊⼒し物体間の関係を学習 1⽂につき 正例: 1物体, 負例: 正例以外の物体全て ⼤量の負例サンプルを使⽤していなかった “Grab the red can near to white bottle and put it in the lower left box.”
提案⼿法︓クロスモーダル逆翻訳データ拡張 8 良い命令⽂のみをデータ拡張に使⽤ 良い命令⽂︓理解モジュールの出⼒! " # $ %!"#$ がしきい値!以上 "
#!"# = % & $%&' ()) | ( ) *()) % & $%&' ()) ≥ ! !: インデックス
⽣成モジュールにより⽣成した命令⽂の例 12 “grab the yellow color object near the white
bottle and put it in the upper right.” “move the green mug cup to the box with the teddy bear.”
提案⼿法における⽣成モジュール 13 Case Relation Transformer[Kambara+ RAL & IROS21] ⼊⼒︓対象領域 コンテキスト領域(対象以外の物体領域)
⽬標領域 出⼒︓対象物体を⽬標領域に移動させる命令⽂ CRB (Case Relation Block)と Transformerにより • 物体間の位置関係をモデル化 • 参照表現を含む⽂を⽣成可能
Target-dependent UNITER[Ishikawa+ RAL & IROS21] ⼊⼒︓候補領域 コンテキスト領域 命令⽂ 出⼒︓候補領域が命令⽂の対象物体である確率の予測値(() *)
提案⼿法における理解モジュール 14 物体間の関係をモデル化 命令⽂中の参照表現理解
実験設定︓データ数ごとのMLU-FIタスクにおける提案⼿法の性能評価 15 PFN-PIC データセット[Hatori+ 18] 画像と画像中の物体に関する命令⽂から構成 4つの箱に物体を無作為に配置 訓練データ数.+,を変化させて データ拡張の効果を確認 .+,
= 4000, 6000, 10000, 63330 (全⽂) が命令⽂中の対象物体かどうかの分類精度により性能評価 “Move the yellow container to the top left box.”
.!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) ⾊は拡張前の訓練データ数 ⾊ごとに.!"#
= 0のときと⽐較 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 16
定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 17 .!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER)
⾊は拡張前の訓練データ数 ⾊ごとに.!"# = 0のときと⽐較 訓練データ数 : 4000 データ拡張(正例): 2000
定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 18 .!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER)
⾊は拡張前の訓練データ数 ⾊ごとに.!"# = 0のときと⽐較 訓練データ数 : 4000 データ拡張(正例): 4000
.!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) 訓練データ数.-.が少ない時 データ拡張により精度向上 訓練データ数.-.が多い時
ベースラインとほぼ同等 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 19 訓練データ数︓少
.!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) 訓練データ数.-.が少ない時 データ拡張により精度向上 訓練データ数.-.が多い時
ベースラインとほぼ同等 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 20 訓練データ数︓多
定性的結果︓成功例 22 “move the black coffee mug to the upper
left box.” ! " # = 0.999 ! " # = 3.15 ×10%& “move the pink toy animal to the lower left hand side of the box.” ほぼ正確に対象領域であると判定 ほぼ正確に対象領域ではないと判定
⼊⼒の領域数./012を変化させて検証 ./012 = 20︓候補領域に近い順20個に制限 訓練データ数.+,が少ない時 ⼊⼒領域数の制限がモデルの性能向上に寄与 Ablation Studies︓⼩規模データでは⼊⼒領域数の制限により精度向上 23 Acc
[%] .'()* .+, 20 全て 4000 92.4 ± 0.7 91.7 ± 0.9 6000 93.4 ± 0.6 93.2 ± 0.5 10000 93.2 ± 0.5 93.7 ± 0.5 63330 96.6 ± 1.1 97.1 ± 0.3
背景︓⽣活⽀援ロボットに⾃然⾔語で命令できれば便利 提案︓クロスモーダル逆翻訳データ拡張によるデータ拡張⼿法 結果︓標準データセットにおいて、ベースライン⼿法を精度で上回る まとめ 25