[Journal club] Unbiased Scene Graph Generation from Biased Training

Transcript

1. Kaihua Tang1, Yulei Niu3, Jianqiang Huang1,2, Jiaxin Shi4, Hanwang Zhang1 (1Nanyang Technological University,2Damo Academy, Alibaba Group, 3Renmin University of China,4Tsinghua University) Unbiased Scene Graph Generation from Biased Training Tang, Kaihua, et al. "Unbiased scene graph generation from biased training." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020. 慶應義塾大学 杉浦孔明研究室 畑中駿平
2. 2 • Scene Graph Generation (SGG) において，因果推論の枠組みを用いてデータセットが 与えるバイアスを低減させる手法の提案 − Counterfactual Thinking − Total Direct Effect ( TDE ) • TDEを導入することでベースラインからスコアの向上・バイアスの低減 概要 ✓ SGGにおけるデータセットが与えるバイアスに関して始めて考慮 ✓ 既存のSGGのフレームワークにそのまま適用可能
3. 3 • Scene Graph ( SG )：物体間における関係をグラフで表現したもの − Triplet < subject(object)－predicate－object > • Scene Graph Generation ( SGG ) タスク：画像からScene Graphを予測する • SGの応用例：Vision Question Answering (VQA)，Image Retrieval，Caption Generationなど 背景：SGGはVQAタスクなどのCV処理として提案された Yang, Jianwei, et al. "Graph r-cnn for scene graph generation." Proceedings of the European conference on computer vision (ECCV). 2018.
4. 4 既存手法：様々な角度からSGGモデルが設計されている SGG model 特徴 MOTIFS [Rowan+, IEEE2018] シーングラフの高次モチーフを捉えるために設計 VC-Tree [Kaihua+, IEEE2019] 各オブジェクトの依存有効性を計算するスコア関数を設計し， スコア行列から最大スパニングツリーを2値化したツリーを作成 MOTIFS [Rowan+, IEEE2018] VC-Tree [Kaihua+, IEEE2019]
5. 5 • そもそもデータセットの述語(predicate)の分布に偏り − ロングテールな分布 • 既存のSGGモデルの現状 ☺ 物体検出の精度  関係(predicate)を表す表現力の少なさ 問題点：視覚的な関係が些細であり，情報量も少ない
6. 6 • 意思決定は content と context の組み合わせにより形成されている − Content (内生的理由)：subject・object の視覚的特徴量 − Context (外生的理由)：subjectとobjectの結合領域や対となる物体クラスの視覚的特徴 • 人間と機械の意思決定の違い 仮説：機械も因果関係の考慮によって悪いバイアスを排除 することができないか 人間 Causality-based 主因果を追求し，悪いバイアス（副因果）を排除 機械 Likelihood-based contentとcontextを合わせて尤度により予測 機械にも主因果と副因果を区別させたい
7. 7 • Counterfactual causality ( 反事実因果関係 ) の考え − 「もしそのcontentを見てなくても，それでも同じ予測をするのか」 • 具体例：アイスクリームと犯罪率の相関関係 前提条件：反事実仮想によって主因果を予測 「アイスクリームの売り上げが上がると犯罪率が上がる」 → アイスクリームが犯罪に起因している？？？ 気温の上昇によって人々が外出する → アイスクリームの売り上げが上がる → 人が密集するので犯罪率も上がる 隠れた変数の可能性 → アイスクリームの排除
8. 8 • SGGのモデル − 既存手法のSGGをそのまま採用 • Causal Graph − Counterfactual Thinking (反事実思考)をSGGに適用 − Total Direct Effect ( TDE ) の計算により悪いバイアスを排除 提案手法：SGGにおけるCausal Graphの全体像
9. 9 • Node 𝑰 ( Input Image ＆ Backbone ) − 入力画像 𝐼 をFaster R-CNN[Ren+, 2016] (FRCNN)に適用 − ℳ： 𝐼 の画像特徴量・𝑩：bounding box (bbox) の集合 • Link 𝑰 → 𝑿 (Object Feature Extractor) − FRCNNから RoI Align 特徴量(𝑟𝑖 )・bbox(𝑏𝑖 )・ラベル情報(𝑙𝑖 )を 獲得 − 𝐼𝑛𝑝𝑢𝑡: 𝑟𝑖 , 𝑏𝑖 , 𝑙𝑖 ⟹ 𝑂𝑢𝑡𝑝𝑢𝑡: {𝑥𝑖 } SGGの処理(1/4)：Node 𝐼, Link 𝐼 → 𝑋
10. 10 • Node 𝑿 ( Object Feature ) − Subscript 𝑒: 𝑥𝑒 = (𝑥𝑖 , 𝑥𝑗 )の作成 (ただし𝑖 ≠ 𝑗) • Link 𝑿 → 𝒁 ( Object Classification ) − 𝐼𝑛𝑝𝑢𝑡: 𝑥𝑖 ⟹ 𝑂𝑢𝑡𝑝𝑢𝑡: {𝑧𝑖 } • Node 𝒁 ( Object Class ) − 𝑧𝑒 = (𝑧𝑖 , 𝑧𝑗 )も含まれる SGGの処理(2/4)：Node 𝑋, Link 𝑋 → 𝑍, Node 𝑍
11. 11 • Link 𝑿 → 𝒀 ( Object Feature Input for SGG ) − 𝐼𝑛𝑝𝑢𝑡: 𝑥𝑒 ⟹ 𝑂𝑢𝑡𝑝𝑢𝑡: {𝑥′𝑒 } • Link 𝒁 → 𝒀 ( Object Class Input for SGG ) − 𝑧′𝑒 = 𝑊 𝑧 [𝑧𝑖 ⨂𝑧𝑗 ] • Link 𝑰 → 𝒀 ( Visual Context Input for SGG ) − 𝑣′𝑒 = Convs(RoIAlign(ℳ, 𝑏𝑖 ∪ 𝑏𝑗 )) SGGの処理(3/4)：Link 𝑋 → 𝑌, Link 𝑍 → 𝑌, Link 𝐼 → 𝑌
12. 12 • Node 𝒀 ( Predicate Classification ) − Link 𝑋→𝑌・ Link 𝑍→𝑌・ Link 𝐼→𝑌によって得られた3種類の 特徴量 𝑥′𝑒 ， 𝑧′𝑒 ， 𝑣′𝑒 を入力として2種類の方法で計算 − SUM：𝑦𝑒 = 𝑊 𝑥 𝑥′𝑒 + 𝑊 𝑣 𝑣′𝑒 + 𝑧′𝑒 − GATE： 𝑦𝑒 = 𝑊 𝑟 𝑥′𝑒 ∙ 𝜎 𝑊 𝑥 𝑥′𝑒 + 𝑊 𝑣 𝑣′𝑒 + 𝑧′𝑒 • 損失関数：クロスエントロピー誤差関数 − Objectとpredicateに対して主に使用 − 補助的に各3つのブランチにも適用 SGGの処理(4/4)：Node 𝑌，損失関数
13. 13 • 前頁までの処理によってSGGを学習 − 現時点では尤度によるバイアスな予測のまま • このSGGモデルに因果推論の考えを適用 − 介入(intervention)による反事実思考 (counterfactual thinking) • 例：Link 𝐼 → 𝑋・ Link 𝑋 → 𝑍を切り離す − Node 𝑋にはダミーの ത 𝑋を代入 − ただし，Node 𝑍は以前のものを使用 • 反事実思考の前後の差から最終的なラベル を予測 − Total Direct Effect (TDE) Causal Graph(1/3)：学習したSGGから因果推論を考慮
14. 14 • 介入 (intervention)の定義：𝒅𝒐(∙) − 𝑑𝑜(𝑋 = ҧ 𝑥)：Link 𝑰→𝑿 (Object Feature Extractor)を削除しダミー変数を代入 − その結果， 𝑍 = ҧ 𝑧となる • 反事実 (counterfactual)の適用 − 𝑑𝑜(𝑋 = ҧ 𝑥)を適用してるが，Node 𝑍は変更しない Causal Graph(2/3)：介入と反事実思考 実際の事実とは別の過程や結果を 想像すること https://www.dhbr.net/articles/-/4705 今回はこちらを採用
15. 15 最終的なPredicateの予測ラベル Causal Graph(3/3)：Total Direct Effect 𝑇𝐷𝐸 = 𝑌𝑥,𝑧 𝑢 − 𝑌 ҧ 𝑥,𝑧 𝑢 𝑦𝑒 † = 𝑦𝑒 (𝑥, 𝑧) − 𝑦𝑒 ( ҧ 𝑥, 𝑧) “2回思考”している
16. 16 ：既存手法「walking on」などの再現率がほぼ0に近く「on」の再現率が高い ☺：TDEを適用することでバイアスが解消されている 結果(1/3)：TDEの適用によりバイアスの解消の確認
17. 17 結果(2/3)：既存手法のモデルにTDEの適用で性能向上 SGGのモデル構造は変更しないでTDEを適用する だけで分類予測や検出において性能向上した
18. 18 結果(3/3)：Predicateのバイアスの解消・改善を確認
19. 19 • Scene Graph Generation (SGG) において，因果推論の枠組みを用いてデータセットが 与えるバイアスを低減させる手法の提案 − Counterfactual Thinking − Total Direct Effect ( TDE ) • TDEを導入することでベースラインからスコアの向上・バイアスの低減 まとめ ✓ SGGにおけるデータセットが与えるバイアスに関して始めて考慮 ✓ 既存のSGGのフレームワークにそのまま適用可能