論文紹介：Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh, Dhruv Batra, "Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization." Proceedings of the IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626

https://openaccess.thecvf.com/content_iccv_2017/html/Selvaraju_Grad-CAM_Visual_Explanations_ICCV_2017_paper.html

Transcript

1. Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization
2. 紹介論文 • Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das, Ramakrishna Vedantam, Devi Parikh Dhruv Batra • “Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization” • The IEEE International Conference on Computer Vision (ICCV), 2017, pp. 618-626 2
3. 概要 • 畳み込みニューラルネットワーク（CNN）の判断に 視覚的な “説明” を与えるGrad-CAMを提案 • 従来手法よりも広い範囲のモデルに適用可能であり， 妥当な説明が得られることを実験により示した 3
4. 研究背景 • 畳み込みニューラルネットワーク（CNN） – 画像認識タスクで高い性能を発揮 – 判断の過程が不透明 • なぜそう判断したのか？ • 誤った判断をした場合に原因の推察が困難 • 精度と透明性はトレードオフの関係 – 例：ルールベース ↔ 深層学習 • ユーザが信頼できる知的システムを構築するためには 精度と透明性の両立が不可欠 4 目的：CNNの判断の根拠を可視化すること
5. 従来研究 • Class activation mapping (CAM)[1] – CNNがどこを見たかを可視化 – 画像単位のラベルから物体の場所を特定する – 可視化ができるようにモデルを改変する必要性あり →モデルの性能が下がる – 提案手法はこれを拡張したもの • Guided backpropagation[2] – 出力の勾配を可視化 – 後述 5 [1] Zhou, Bolei, et al. "Learning deep features for discriminative localization." Computer Vision and Pattern Recognition (CVPR), 2016 IEEE Conference on. IEEE, 2016. [2] Springenberg, Jost Tobias, et al. "Striving for simplicity: The all convolutional net." arXiv preprint arXiv:1412.6806 (2014).
6. 提案手法(1) Grad-CAM (Gradient-weighted Class Activation Mapping) • 出力ニューロンに大きく影響（勾配）を与えた 部分を可視化する • 上位層の特徴マップを利用 – 画像の抽象的な特徴が抽出されている →画像の意味的な構造を捉えた可視化が期待できる (class-discriminative) 6
7. 提案手法(2) 分類モデルでの例（画像がクラスcに分類） 1. 特徴マップAの各チャンネルkの重みを算出 – クラスcのスコアycの勾配の平均値 2. Aの各チャンネルの重み付き和として可視化 7 正の影響を与えた部分 のみを見るため Z=W×H: 特徴マップサイズ ※他のタスクであっても出力ニューロンから誤差逆伝播を行うことで 可視化を行う
8. 局所性の評価 Grad-CAMの可視化の性能を物体検出タスクとして評価 • ImageNet localization challenge – 画像のラベルと物体の領域を同時に予測するタスク 1. 画像分類を学習済みのモデル （VGG-16）で画像のクラスを予測 2. Grad-CAMにより可視化（ヒートマップ） 3. 最大値の15%以上の値を持つ領域の内， 最大面積の領域を囲む矩形を評価 – Top-1とTop-5のエラー率で評価 8 猫
9. 評価尺度 準備 • モデルの予測 – クラス：ci (i=1,…,5) （確率が高い順） – 矩形領域：bi (i=1,…,5) • 画像のラベル – クラス：Ck (k=1,…,n) – 矩形領域：Bkm (m=1,…,Mk ) エラー率 9 n: 画像のラベル数 Mk : 画像中のクラスCk の物体の数 (bi とBkm の重複が50%以下) クラス分類 クラス分類＋領域 Large Scale Visual Recognition Challenge 2014 (ILSVRC2014), http://image-net.org/challenges/LSVRC/2014/index
10. データセットのバイアスの除去(1) バイアスの掛かったデータセットで学習したモデルは 汎化性能が低い →データセットのバイアスを適切に除くことが重要 • 医師と看護師の分類タスク 1. 画像検索エンジンを利用し， 各クラスの画像を検索結果上位から 250枚ずつ収集 →ImageNetで学習済みのモデルをFine-tuning 10 テストデータに対する正解率が あまり高くない（82%）
11. データセットのバイアスの除去(2) Grad-CAMによる可視化 • 顔や髪型を主に見て判断 – 女性医師を看護師に，男性看護師を医師に誤分類が多く起きている – 画像検索エンジンから収集したデータセットに バイアスがかかっていた （医師画像の78%が男性，看護師画像の93%が女性） 11 ラベル：看護師 予測：看護師 ラベル：医師 予測：看護師 医師＝男性，看護師＝女性という誤ったバイアスを学習
12. データセットのバイアスの除去(3) 2. データセットに女性医師と男性看護師の画像を 追加（総数は変えない）して同様に学習 →テストデータに対する正解率が向上（90%） – 服装や聴診器など，適切な観点で判断するようになった 12 ラベル：看護師 予測：看護師 ラベル：医師 予測：医師 データセットのバイアスを見つけ，除去することで 正しい学習ができた
13. Grad-CAMの改良 • Grad-CAMの課題： 「どこを見たか」が分かるが「何を見たか」は分からない – 上位層の特徴マップを用いるため，抽象的な領域情報しか残らない – 入力画像レベルでの，判断に寄与した具体的な特徴を知りたい • Guided Backpropagation (GBP) – 出力に寄与した入力画像の特徴を可視化する手法 – 入力画像と同等の画質での可視化 – 下位層（抽象度が低い）を見るため被写体の構造が反映されない （class-discriminativeでない） 13 Guided Backpropagationとの組み合わせ (Guided Grad-CAM)
14. Guided Backpropagation (1) • 誤差逆伝播の際に正の勾配をもつ活性のみを逆伝播する →関係のある特徴が可視化 14 Forward Backpropagation Guided Backpropagation 微分
15. Guided Backpropagation (2) 15 ReLU
16. Guided Grad-CAM 1. Grad-CAMをGBPのマップと同サイズに拡大 2. GBPのマップとの要素ごとの積をとる 16 判断に寄与した領域と特徴を同時に可視化 ＝ 「猫」 Grad-CAM GBP
17. 可視化の妥当性の評価 人が見ても妥当な可視化が行えているかどうかを評価 • 2種類の物体が写っている画像を提案手法・既存手法で 可視化 – 妥当な可視化が行われていれば 特定のクラスの物体のみが可視化される (class-discriminative) • アンケートにより評価 • 実験設定 – モデル：VGG-16 – 画像：90枚 – アンケート人数：43人 17
18. 可視化の妥当性の評価 18 • 可視化された画像から人間が正しいクラスを選択できた割合 手法 スコア [%] Deconvolution 53.33 Guided Backpropagation 44.44 Deconvolution Grad-CAM 61.23 Guided Grad-CAM 61.23 提案手法はより良い可視化が行えている
19. 信頼性の比較(1) 同じ予測に2つの “説明” が与えられたときに どちらのモデルが信頼できるか？ • 2つの学習済みモデルを使用 – AlexNet, VGG-16 – VGG-16の方が分類精度が高いことが知られている • 同じ画像に対して2つのモデルでGuided Grad-CAMによる 可視化を行う – モデルの精度の差の影響を除くために両方のモデルが 正解した画像を使用 – どちらの可視化がより信頼できるかを54人のアンケートにより評価 • 5段階評価 (-2, -1, 0, +1, +2) 19
20. 信頼性の比較(2) 20
21. 信頼性の比較(3) • 可視化された説明のみから汎化性能の高いモデルが 選ばれた 21 提案手法により良い説明を得られるモデルは汎化性能が高い 手法 平均スコア Guided Backpropagation 1.00 Guided Grad-CAM 1.27
22. 誤分類された画像の分析 22 • 誤った判断をしていても妥当な根拠に基づいていると思われる • 提案手法は場所と特徴を同時に可視化できるためこのような分析が可能になる
23. まとめ • まとめ – Grad-CAMは特徴マップを勾配で重み付けして可視化 – GBPと組み合わせることで更に詳しい根拠を可視化 – 誤判断の定性的な分析が可能になる • 感想 – ネットワーク構造によらず可視化できるのがGrad-CAMの 特長だったが，可視化に求める精度によっては制約を受けそう – 眼底画像で定量的評価を行うには？ – 良い可視化がされている⇒汎化性能が高い とすれば Grad-CAMに制約を加えることで性能を高められる？ 23