[Journal club] Sanity Checks for Saliency Maps

Transcript

1. Sanity Checks for Saliency Maps Julius Adebayo, Justin Filmer, Michael Muelly, Ian Goodfellow, Moritz Hardt, Been Kim, Google Brain, University of California Berkeley, NeurIPS 2018 慶應義塾大学 杉浦孔明研究室 小松 拓実 Adebayo, Julius, et al. "Sanity checks for saliency maps." Advances in neural information processing systems 31 (2018).
2. 2 概要 ・多くの説明手法が提案されており、多くは視覚的説明を伴う ・説明手法が何を説明しているかを評価することは困難である ・説明手法を評価するためのテスト手法を提案 ・実験結果より、視覚的な説明のみで評価することの危険性を主張
3. 3 背景 : 視覚的説明の説明範囲の評価は難しい 応答ベースの手法と例 勾配ベースの手法と例 ・モデルはブラックボックス ・CAM[Zhou+,CVPR16] ・モデルはホワイトボックス ・SmoothGrad[Smilkov+, 17] ・Guided Back-prop[Selvaraju+,ICCV17] ・RISE[Petsiuk+,BMVC18] ⇨ 各手法の説明範囲と品質を評価しどれを用いるか判断するのは困難
4. 4 関連研究 : 説明手法を評価する方法は提案されていない ⇨ 従来 : 特定の手法の評価に限定 評価対象 論文 概要 Gradient DeepLIFT Integrated Gradient Interpretation of Neural Networks Is Fragile [Ghorbani+, AAAI19] 敵対的摂動を加え、 予測値を変更せず、 判断根拠箇所を変更 Guided Back-prop DeconvNet A theoretical explanation for perplexing behaviors[Nie+, ICML18] モデルの認識と無関係な領域を 強調していることを 理論的な観点から解説 ⇨ 説明手法を評価するための実用的なテスト方法を提案
5. 5 提案手法 : Sanity Checks ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化 ・モデルパラメータのランダム化 : ▪ Data Randomization : データのラベルをランダム化 ・統計的ランダム化検定の手法と一般的なフレームワークに注目 ⇨ 2つのランダム化手法を提案 ▪ Independent Randomization : 各レイヤ独立にランダム化 ・データラベルのランダム化 ⇨ 説明手法がデバッグに有用なら、ランダム化によりマスクが変化する
6. 6 提案手法 : パラメータに対する感度を評価 ランダム化 ・パラメータ : データから学習したものを凝縮したもの。テスト性能に影響 ・パラメータに対する感度の有無 = デバッグ性能としての視覚化の評価
7. 7 提案手法 : Cascading Randomization ランダム化 ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
8. 8 提案手法 : Cascading Randomization ランダム化 ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
9. 9 提案手法 : Cascading Randomization ランダム化 ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
10. 10 提案手法 : Cascading Randomization ランダム化 ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
11. 11 提案手法 : レイヤの位置による影響を評価 ▪ レイヤの位置における依存性を分離して評価 ランダム化 ▪ 高レイヤと低レイヤの重みへの依存性を網羅的に評価することを目的
12. 12 提案手法 : Independent Randomization ▪ Independent Randomization : 各レイヤ独立にランダム化 ランダム化
13. 13 提案手法 : Independent Randomization ▪ Independent Randomization : 各レイヤ独立にランダム化 ランダム化
14. 14 提案手法 : Independent Randomization ▪ Independent Randomization : 各レイヤ独立にランダム化 ランダム化
15. 15 提案手法 : Independent Randomization ▪ Independent Randomization : 各レイヤ独立にランダム化 ランダム化
16. 16 提案手法 : Data Randomization ▪ Data Randomization : 各データとラベルのランダム化 ランダム化 ▪ ラベルのランダム化に影響しない : データ自身とラベルの関係性の説明力なし
17. 17 定性的結果: Gradient・SmoothGrad・GradCAMはパラメータに影響 ・マスクの変化 ⇨ レイヤのパラメータ変化に敏感 ・パラメータのランダム化により入力の構造(鳥)が確認できなくなる 変化あり
18. 18 定性的結果 : Guided Back-prop・Guided GradCAMは変化なし ・視覚的なマスクだけではネットワークの重みの変化を説明不可 ・勾配変化なし ⇨ レイヤのパラメータ変化に鈍感 変化なし
19. 19 定性的結果 :Gradient・SmoothGrad・GradCAM で変化を確認 ・Casading Randomizationの結果と同等の結果を確認 ・マスクの変化あり ⇨ 各レイヤのパラメータ変化に敏感 変化あり
20. 20 定性的結果: Guided Back-propは高レイヤのランダム化で不変 ・高レイヤのランダム化ではマスクは変化なし ・低レイヤで変化はあるも入力構造(鳥)を依然強調 ⇨ レイヤのパラメータ変化に鈍感 変化なし
21. 21 定量的結果 : パラメータによる説明を視覚化するわけではない ・類似度高 ⇨ 内部(パラメータ)の異なる同ネットワークに対する説明力なし ・ランダム化前後のマスクの類似度をSSIM・HOGsを用いて比較
22. 22 定性的結果: Gradient・GradCAMはデータの関係も反映 ・各データに対するラベルをランダム化 ・説明手法のインスタンスとラベルの関係の依存性を確認 c c ・勾配の変化、マスクの変化を確認
23. 23 定性的結果: その他手法は依然入力構造を強調 ・勾配は多少変わるも、入力(0)を強調 ・データとラベルの関係の説明力なし c c ・視覚的説明と判断結果の相関を説明できないという結果を確認
24. 24 まとめ ⇨ 新規モデルの説明手法の選択の指針 ・説明手法の説明範囲を評価する指針としてのテスト手法を提案 ・一部の手法では、視覚的説明と判断結果の相関を説明できない という結果を確認 ・視覚的説明だけではモデル構造やデータに対する 説明力の判断ができない可能性があることを確認