Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data Augmentation Based on Cross-Modal Back Translation for Multimodal Language Understanding for Fetching Instruction
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
September 04, 2021
Technology
0
880
Data Augmentation Based on Cross-Modal Back Translation for Multimodal Language Understanding for Fetching Instruction
Semantic Machine Intelligence Lab., Keio Univ.
PRO
September 04, 2021
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Parallel Vertex Diffusion for Unified Visual Grounding
keio_smilab
PRO
0
110
[NLP24] Polos: Multimodal Metric Learning from Human Feedback for Image Captioning
keio_smilab
PRO
1
190
[Journal club] Accelerating Toeplitz Neural Network with Constant-time Inference Complexity
keio_smilab
PRO
0
42
[Journal club] TIES-Merging: Resolving Interference When Merging Models
keio_smilab
PRO
0
140
[Journal Club]Interfacing Foundation Models’ Embeddings
keio_smilab
PRO
1
130
[Journal club] Toeplitz Neural Network for Sequence Modeling
keio_smilab
PRO
2
390
Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks
keio_smilab
PRO
0
140
Supervised Automatic Evaluation for Image Captioning Based on Multimodality
keio_smilab
PRO
0
160
[Journal Club] Hyperbolic Image-Text Representations
keio_smilab
PRO
0
300
Other Decks in Technology
See All in Technology
長期間TiDBを使ってきた話 @ 私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT / Experiences with TiDB Over Time
chibiegg
2
910
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
0
380
Azure Container Apps + Bicep 〜 こんな感じで運用しています
kaz29
2
480
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
220
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
240
生産性向上チームの紹介
cybozuinsideout
PRO
1
870
On Your Data を超えていく!
hirotomotaguchi
2
690
Compose Compiler Metricsを使った実践的なコードレビュー
tomorrowkey
1
220
JSON攻略法.pdf
miyakemito
8
5.1k
ChatworkのSRE部って実は 半分くらいPlatform Engineering部かもしれない
saramune
0
160
APIファーストなプロダクトマネジメントの実践 〜SaaSus Platformでの例〜 / "Practicing API-First Product Management - An Example with SaaSus Platform
oztick139
0
110
ワールドカフェI /チューターを改良する / World Café I and Improving the Tutors
ks91
PRO
0
120
Featured
See All Featured
A designer walks into a library…
pauljervisheath
200
23k
Statistics for Hackers
jakevdp
789
220k
RailsConf 2023
tenderlove
4
540
Adopting Sorbet at Scale
ufuk
68
8.6k
Design by the Numbers
sachag
274
18k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
2
1.3k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
The Power of CSS Pseudo Elements
geoffreycrofte
60
5k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Testing 201, or: Great Expectations
jmmastey
28
6.4k
Agile that works and the tools we love
rasmusluckow
325
20k
Transcript
慶應義塾大学 飯田紡,九曜克之,石川慎太朗,杉浦孔明 物体指示理解タスクにおける クロスモーダル言語生成に基づくデータ拡張
背景︓⽣活⽀援ロボットに⾃然⾔語で命令できれば便利 2 ⽣活⽀援ロボット • 障がいを持つ⼈々を物理的に⽀援可能 • 在宅介護者不⾜を克服 スムーズな対話に基づいて ⽣活⽀援タスクを実⾏できれば便利 例)「机の上の飲み物を取ってきて」
対象物体の特定が困難なシーンが存在 3 対象物体の特定が困難な場合がある • 表現が曖昧 • 対象物体候補が複数存在 命令⽂中の参照表現を理解する必要がある “Grab the
red can near to white bottle and put it in the lower left box.” どっちの ⽸︖
問題設定︓物体操作指⽰理解 4 MLU-FI (Multimodal Language Understanding for Fetching Instruction) 命令⽂と画像をもとに,命令⽂中の移動対象物体を特定
⼊⼒︓対象物体候補の領域, 画像中の各物体の領域, 命令⽂ 出⼒︓候補領域中の物体が対象物体である確率の予測値 の物体は命令⽂中の移動対象物体︖ コンテキスト領域 候補領域 move the pink toy animal. 対象物体
関連研究︓物体指⽰理解における既存⼿法はサンプル効率が悪い 6 • [Hatori+ ICRA18] – 物体のピッキングタスクにおける指⽰理解⼿法 • MTCM, MTCM-AB
[Magassouba+ ICRA19, 20] – 命令⽂と全体画像から対象物体を特定 • Target-dependent UNITER[Ishikawa+ RAL & IROS21] – 全体画像の代わりに物体領域を⼊⼒し物体間の関係を学習 1⽂につき 正例: 1物体, 負例: 正例以外の物体全て ⼤量の負例サンプルを使⽤していなかった “Grab the red can near to white bottle and put it in the lower left box.”
提案⼿法︓クロスモーダル逆翻訳データ拡張 8 良い命令⽂のみをデータ拡張に使⽤ 良い命令⽂︓理解モジュールの出⼒! " # $ %!"#$ がしきい値!以上 "
#!"# = % & $%&' ()) | ( ) *()) % & $%&' ()) ≥ ! !: インデックス
⽣成モジュールにより⽣成した命令⽂の例 12 “grab the yellow color object near the white
bottle and put it in the upper right.” “move the green mug cup to the box with the teddy bear.”
提案⼿法における⽣成モジュール 13 Case Relation Transformer[Kambara+ RAL & IROS21] ⼊⼒︓対象領域 コンテキスト領域(対象以外の物体領域)
⽬標領域 出⼒︓対象物体を⽬標領域に移動させる命令⽂ CRB (Case Relation Block)と Transformerにより • 物体間の位置関係をモデル化 • 参照表現を含む⽂を⽣成可能
Target-dependent UNITER[Ishikawa+ RAL & IROS21] ⼊⼒︓候補領域 コンテキスト領域 命令⽂ 出⼒︓候補領域が命令⽂の対象物体である確率の予測値(() *)
提案⼿法における理解モジュール 14 物体間の関係をモデル化 命令⽂中の参照表現理解
実験設定︓データ数ごとのMLU-FIタスクにおける提案⼿法の性能評価 15 PFN-PIC データセット[Hatori+ 18] 画像と画像中の物体に関する命令⽂から構成 4つの箱に物体を無作為に配置 訓練データ数.+,を変化させて データ拡張の効果を確認 .+,
= 4000, 6000, 10000, 63330 (全⽂) が命令⽂中の対象物体かどうかの分類精度により性能評価 “Move the yellow container to the top left box.”
.!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) ⾊は拡張前の訓練データ数 ⾊ごとに.!"#
= 0のときと⽐較 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 16
定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 17 .!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER)
⾊は拡張前の訓練データ数 ⾊ごとに.!"# = 0のときと⽐較 訓練データ数 : 4000 データ拡張(正例): 2000
定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 18 .!"#︓提案⼿法で⽣成した命令⽂数 .!"# = 0 : ベースライン⼿法 (Target-dependent UNITER)
⾊は拡張前の訓練データ数 ⾊ごとに.!"# = 0のときと⽐較 訓練データ数 : 4000 データ拡張(正例): 4000
.!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) 訓練データ数.-.が少ない時 データ拡張により精度向上 訓練データ数.-.が多い時
ベースラインとほぼ同等 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 19 訓練データ数︓少
.!"# = 0 : ベースライン⼿法 (Target-dependent UNITER) 訓練データ数.-.が少ない時 データ拡張により精度向上 訓練データ数.-.が多い時
ベースラインとほぼ同等 定量的結果︓⼩規模データでは精度向上し⼤規模データでは同等の精度 20 訓練データ数︓多
定性的結果︓成功例 22 “move the black coffee mug to the upper
left box.” ! " # = 0.999 ! " # = 3.15 ×10%& “move the pink toy animal to the lower left hand side of the box.” ほぼ正確に対象領域であると判定 ほぼ正確に対象領域ではないと判定
⼊⼒の領域数./012を変化させて検証 ./012 = 20︓候補領域に近い順20個に制限 訓練データ数.+,が少ない時 ⼊⼒領域数の制限がモデルの性能向上に寄与 Ablation Studies︓⼩規模データでは⼊⼒領域数の制限により精度向上 23 Acc
[%] .'()* .+, 20 全て 4000 92.4 ± 0.7 91.7 ± 0.9 6000 93.4 ± 0.6 93.2 ± 0.5 10000 93.2 ± 0.5 93.7 ± 0.5 63330 96.6 ± 1.1 97.1 ± 0.3
背景︓⽣活⽀援ロボットに⾃然⾔語で命令できれば便利 提案︓クロスモーダル逆翻訳データ拡張によるデータ拡張⼿法 結果︓標準データセットにおいて、ベースライン⼿法を精度で上回る まとめ 25