論文読み会 / Counterfactual VQA: A Cause-Effect Look at Language Bias

Slide 1

Slide 1 text

Counterfactual VQA: A Cause-Effect Look at Language Bias 21/08/16 PaperFriday, Yuki Iwazaki@AI Lab

Slide 2

Slide 2 text

2 Point: 画像とテキストを両方扱うタスクで、フルモデルとテキストのみモデルの予測分布間の差分を利用したテキストのバイアス除去法を提案 CVPR 2021: acceptance rate 23.7% Authors: Yulei Niu, Kaihua Tang, Hanwang Zhang, Zhiwu Lu, Xian-Sheng Hua, Ji-Rong Wen 選定理由: - Multimodal dataの偏りに悩むことが多い - Debiasに興味がある

Slide 3

Slide 3 text

Introduction 3

Slide 4

Slide 4 text

Debiased Visual Question Answering ◂ Visual Question Answering ◂ Answer the question based on the image 4 Q: Do you see a player? A: Yes. Q: What sports is he playing? A: Tennis.

Slide 5

Slide 5 text

Debiased Visual Question Answering ◂ Dataset bias in VQA: language bias 5 (VQA v1 dataset) Q: What sports is … ? Q: How many … ? language priors poor ODD generalization [Goyal, CVPR2017]

Slide 6

Slide 6 text

Related Work 6

Slide 7

Slide 7 text

Debiasing Strategies in VQA ◂ VQA-CP...VQAモデルの汎化性を評価するためのdataset ◂ train/testで質問タイプ毎に回答の分布が異なるように ◂ VQAの言語バイアス低減は大きく3種類 ◂ 1.視覚情報の補強 ◂ 2.言語情報の弱化 ◂ 3.明示的/暗黙的なData Augmentation 7

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

10 Fact: 観測されるデータには常にバイアスがかかっている Challenge: 偏った学習をしていても偏りのない推論ができるか ?

Slide 11

Slide 11 text

Preliminaries 11

Slide 12

Slide 12 text

Causal Graph 12 変数間の因果関係を表すグラフ原因Xが効果Yに直接影響を与えている場合、 X → Yと表す原因Xが中間変数Mを介して効果Yに間接的に影響を与えている場合、 X → M → Yと表す

Slide 13

Slide 13 text

Causal Graph 13 変数間の因果関係を表すグラフ原因Xが効果Yに直接影響を与えている場合、 X → Yと表す原因Xが中間変数Mを介して効果Yに間接的に影響を与えている場合、 X → M → Yと表すコロナ罹患年齢ワクチン

Slide 14

Slide 14 text

Causal effects 異なる方策の介入(treatment)を受けた同一対象の 2つの世界線の結果を擬似的に比較したもの 14 treatment群（e.g.ワクチンあり） control群（e.g.ワクチンなし） Yに対するX=xのtotal effect 中間変数Mが介入しない状態での XのYへのnatural direct effect. X=x*からX=xに変化したときのYの増加

Slide 15

Slide 15 text

Cause-Effect Look at VQA 15

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Causal Graph for VQA ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす 19

Slide 20

Slide 20 text

Causal Graph for VQA 20 ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect

Slide 21

Slide 21 text

Causal Graph for VQA 21 ◂ Causal relations in VQA ◂ A→B: AはBを引き起こす ◂ VQA: VとQはAを引き起こす ◂ Direct path: Q→A, V→A ◂ Uni-modal alignment, direct effect ◂ Indirect path: V,Q→K→A ◂ Multi-modal reasoning, indirect effect

Slide 22

Slide 22 text

Ours: Cause-Effect View on VQA 22 Total Effect Nature Direct Effect Total Indirect Effect VQAにおける因果効果は2シナリオ間( (1), (2) )の比較で導出可能

Slide 23

Slide 23 text

Implementation: Parameterization 23 V,Q,Kが与えられたときの目的変数の予測スコア Y_{v,q}:

Slide 24

Slide 24 text

Implementation: Parameterization 24 質問Qが与えられる与えられない画像Vが与えられる与えられない画像Vと質問Qが与えられるどちらかが与えられない

Slide 25

Slide 25 text

Implementation: Fusion Strategies 25

Slide 26

Slide 26 text

Implementation: Training 26

Slide 27

Slide 27 text

Implementation: Inference 27

Slide 28

Slide 28 text

Conventional Models 30

Slide 29

Slide 29 text

Experiments 31

Slide 30

Slide 30 text

Experiments ◂ VQA-CP dataset ◂ train/testの回答分布が大きく異なる場合にモデルの頑健性を評価するためのdataset ◂ VQA v2 dataset(re-balanced v1) ◂ VQA v1の反省を活かし分布偏りを改善したdataset ◂ metric: Accuracy ◂ baseline ◂ Stacked Attention Network (SAN) ◂ Bottom-up and Top-down Attention (UpDn) ◂ a simpliﬁed MUREL (S-MRL) 32

Slide 31

Slide 31 text

Quantitative Results 33

Slide 32

Slide 32 text

Quantitative Results 34

Slide 33

Slide 33 text

Ablation Study 35 baseline with CF-VQAによりbaselineより2%-5%の性能改善

Slide 34

Slide 34 text

Qualitative Results 37

Slide 35

Slide 35 text

Qualitative Results 38 Q: Is this room large or small? Q: What type of ﬂowers are theses? language context “large or small” “what type”

Slide 36

Slide 36 text

Qualitative Results 39

Slide 37

Slide 37 text

Conclusion 40

Slide 38

Slide 38 text

Conclusion ◂ VQAの言語バイアスを軽減するCF-VQAを提案 ◂ 総合効果から言語効果を引き算 ◂ 最近のdebias系の研究は提案手法で統一可能 ◂ 因果効果に基づいて1つのパラメータの追加で baselineを改善 ◂ 頑健性とバイアス軽減のバランスが課題 41

Slide 39

Slide 39 text

Comment ◂ 斎藤さん、安井さん、成田さん、Susan Athey界隈の有用な記事が無限に出てきました🙏 ◂ 本買ってもう少し勉強します 42

Slide 40

Slide 40 text

43 Thanks! Any questions? You can ﬁnd me at: ◂ @chck ◂ #times_chck ◂ [email protected]