Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
論文読み会 / Counterfactual VQA: A Cause-Effect Look...
Search
chck
August 16, 2021
Research
0
17
論文読み会 / Counterfactual VQA: A Cause-Effect Look at Language Bias
社内論文読み会、PaperFridayでの発表資料です
chck
August 16, 2021
Tweet
Share
More Decks by chck
See All by chck
CyberAgent AI Lab研修 / Container for Research
chck
0
1.8k
CyberAgent AI Lab研修 / Code Review in a Team
chck
2
1.6k
論文読み会 / Socio-Technical Anti-Patterns in Building ML-Enabled Software: Insights from Leaders on the Forefront
chck
0
41
CyberAgent AI事業本部MLOps研修Container編 / Container for MLOps
chck
2
5.5k
論文読み会 / GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models
chck
0
25
論文読み会 / On the Factory Floor: ML Engineering for Industrial-Scale Ads Recommendation Models
chck
0
10
論文読み会 / GUIGAN: Learning to Generate GUI Designs Using Generative Adversarial Networks
chck
0
18
機械学習開発のためのコンテナ入門 / Container for ML
chck
0
910
Web系企業研究所における研究開発を加速させるエコシステム / Ecosystem accelerates our R&D in CyberAgent AI Lab
chck
0
140
Other Decks in Research
See All in Research
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
150
Vision and LanguageからのEmbodied AIとAI for Science
yushiku
PRO
1
430
Combinatorial Search with Generators
kei18
0
510
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
1
270
EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
satai
3
390
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
290
90 分で学ぶ P 対 NP 問題
e869120
19
7.8k
Submeter-level land cover mapping of Japan
satai
3
180
最適化と機械学習による問題解決
mickey_kubo
0
150
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
410
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
6.5k
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
170
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Designing for Performance
lara
610
69k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
YesSQL, Process and Tooling at Scale
rocio
173
14k
A Modern Web Designer's Workflow
chriscoyier
695
190k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
KATA
mclloyd
31
14k
The Language of Interfaces
destraynor
158
25k
Producing Creativity
orderedlist
PRO
346
40k
Six Lessons from altMBA
skipperchong
28
3.9k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
Counterfactual VQA: A Cause-Effect Look at Language Bias 21/08/16 PaperFriday,
Yuki Iwazaki@AI Lab
2 Point: 画像とテキストを両方扱うタスクで、 フルモデルとテキストのみモデルの予測分布間の差分を利用した テキストのバイアス除去法を提案 CVPR 2021: acceptance rate 23.7%
Authors: Yulei Niu, Kaihua Tang, Hanwang Zhang, Zhiwu Lu, Xian-Sheng Hua, Ji-Rong Wen 選定理由: - Multimodal dataの偏りに悩むことが多い - Debiasに興味がある
Introduction 3
Debiased Visual Question Answering ◂ Visual Question Answering ◂ Answer
the question based on the image 4 Q: Do you see a player? A: Yes. Q: What sports is he playing? A: Tennis.
Debiased Visual Question Answering ◂ Dataset bias in VQA: language
bias 5 (VQA v1 dataset) Q: What sports is … ? Q: How many … ? language priors poor ODD generalization [Goyal, CVPR2017]
Related Work 6
Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類
◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 7
Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類
◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 8
9
10 Fact: 観測されるデータには常にバイアスがかかっている Challenge: 偏った学習をしていても偏りのない推論ができるか ?
Preliminaries 11
Causal Graph 12 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、
X → M → Yと表す
Causal Graph 13 変数間の因果関係を表すグラフ 原因Xが効果Yに直接影響を与えている場合、 X → Yと表す 原因Xが中間変数Mを介して 効果Yに間接的に影響を与えている場合、
X → M → Yと表す コロナ罹患 年齢 ワクチン
Causal effects 異なる方策の介入(treatment)を受けた同一対象の 2つの世界線の結果を擬似的に比較したもの 14 treatment群(e.g.ワクチンあり) control群(e.g.ワクチンなし) Yに対するX=xのtotal effect 中間変数Mが介入しない状態での
XのYへのnatural direct effect. X=x*からX=xに変化したときのYの増加
Cause-Effect Look at VQA 15
16
17
18
Causal Graph for VQA ◂ Causal relations in VQA ◂
A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす 19
Causal Graph for VQA 20 ◂ Causal relations in VQA
◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect
Causal Graph for VQA 21 ◂ Causal relations in VQA
◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect ◂ Indirect path: V,Q→K→A ◂ Multi-modal reasoning, indirect effect
Ours: Cause-Effect View on VQA 22 Total Effect Nature Direct
Effect Total Indirect Effect VQAにおける因果効果は2シナリオ間( (1), (2) )の比較で導出可能
Implementation: Parameterization 23 V,Q,Kが与えられたときの目的変数の予測スコア Y_{v,q}:
Implementation: Parameterization 24 質問Qが与えられる 与えられない 画像Vが与えられる 与えられない 画像Vと質問Qが与えられる どちらかが与えられない
Implementation: Fusion Strategies 25
Implementation: Training 26
Implementation: Inference 27
Conventional Models 30
Experiments 31
Experiments ◂ VQA-CP dataset ◂ train/testの回答分布が大きく異なる場合に モデルの頑健性を評価するためのdataset ◂ VQA v2
dataset(re-balanced v1) ◂ VQA v1の反省を活かし分布偏りを改善したdataset ◂ metric: Accuracy ◂ baseline ◂ Stacked Attention Network (SAN) ◂ Bottom-up and Top-down Attention (UpDn) ◂ a simplified MUREL (S-MRL) 32
Quantitative Results 33
Quantitative Results 34
Ablation Study 35 baseline with CF-VQAによりbaselineより2%-5%の性能改善
Qualitative Results 37
Qualitative Results 38 Q: Is this room large or small?
Q: What type of flowers are theses? language context “large or small” “what type”
Qualitative Results 39
Conclusion 40
Conclusion ◂ VQAの言語バイアスを軽減するCF-VQAを提案 ◂ 総合効果から言語効果を引き算 ◂ 最近のdebias系の研究は提案手法で統一可能 ◂ 因果効果に基づいて1つのパラメータの追加で baselineを改善
◂ 頑健性とバイアス軽減のバランスが課題 41
Comment ◂ 斎藤さん、安井さん、成田さん、Susan Athey界隈の 有用な記事が無限に出てきました🙏 ◂ 本買ってもう少し勉強します 42
43 Thanks! Any questions? You can find me at: ◂
@chck ◂ #times_chck ◂
[email protected]