[Journal club] Sanity Checks for Saliency Maps

Transcript

1. Sanity Checks for Saliency Maps
   Julius Adebayo, Justin Filmer, Michael Muelly, Ian Goodfellow, Moritz Hardt,
   Been Kim,
   Google Brain, University of California Berkeley,
   NeurIPS 2018
   慶應義塾大学 杉浦孔明研究室 小松 拓実
   Adebayo, Julius, et al. "Sanity checks for saliency maps." Advances in neural information processing
   systems 31 (2018).
   

   View Slide

2. 2
   概要
   ・多くの説明手法が提案されており、多くは視覚的説明を伴う
   ・説明手法が何を説明しているかを評価することは困難である
   ・説明手法を評価するためのテスト手法を提案
   ・実験結果より、視覚的な説明のみで評価することの危険性を主張
   

   View Slide

3. 3
   背景 : 視覚的説明の説明範囲の評価は難しい
   応答ベースの手法と例 勾配ベースの手法と例
   ・モデルはブラックボックス
   ・CAM[Zhou+,CVPR16]
   ・モデルはホワイトボックス
   ・SmoothGrad[Smilkov+, 17]
   ・Guided Back-prop[Selvaraju+,ICCV17]
   ・RISE[Petsiuk+,BMVC18]
   ⇨ 各手法の説明範囲と品質を評価しどれを用いるか判断するのは困難
   

   View Slide

4. 4
   関連研究 : 説明手法を評価する方法は提案されていない
   ⇨ 従来 : 特定の手法の評価に限定
   評価対象 論文 概要
   Gradient
   DeepLIFT
   Integrated Gradient
   Interpretation of Neural
   Networks Is Fragile
   [Ghorbani+, AAAI19]
   敵対的摂動を加え、
   予測値を変更せず、
   判断根拠箇所を変更
   Guided Back-prop
   DeconvNet
   A theoretical explanation
   for perplexing
   behaviors[Nie+, ICML18]
   モデルの認識と無関係な領域を
   強調していることを
   理論的な観点から解説
   ⇨ 説明手法を評価するための実用的なテスト方法を提案
   

   View Slide

5. 5
   提案手法 : Sanity Checks
   ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
   ・モデルパラメータのランダム化 :
   ▪ Data Randomization : データのラベルをランダム化
   ・統計的ランダム化検定の手法と一般的なフレームワークに注目
   ⇨ 2つのランダム化手法を提案
   ▪ Independent Randomization : 各レイヤ独立にランダム化
   ・データラベルのランダム化
   ⇨ 説明手法がデバッグに有用なら、ランダム化によりマスクが変化する
   

   View Slide

6. 6
   提案手法 : パラメータに対する感度を評価
   ランダム化
   ・パラメータ : データから学習したものを凝縮したもの。テスト性能に影響
   ・パラメータに対する感度の有無 = デバッグ性能としての視覚化の評価
   

   View Slide

7. 7
   提案手法 : Cascading Randomization
   ランダム化
   ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
   

   View Slide

8. 8
   提案手法 : Cascading Randomization
   ランダム化
   ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
   

   View Slide

9. 9
   提案手法 : Cascading Randomization
   ランダム化
   ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
   

   View Slide

10. 10
    提案手法 : Cascading Randomization
    ランダム化
    ▪ Cascading Randomization : 高レイヤ->低レイヤを順にランダム化
    

    View Slide

11. 11
    提案手法 : レイヤの位置による影響を評価
    ▪ レイヤの位置における依存性を分離して評価
    ランダム化
    ▪ 高レイヤと低レイヤの重みへの依存性を網羅的に評価することを目的
    

    View Slide

12. 12
    提案手法 : Independent Randomization
    ▪ Independent Randomization : 各レイヤ独立にランダム化
    ランダム化
    

    View Slide

13. 13
    提案手法 : Independent Randomization
    ▪ Independent Randomization : 各レイヤ独立にランダム化
    ランダム化
    

    View Slide

14. 14
    提案手法 : Independent Randomization
    ▪ Independent Randomization : 各レイヤ独立にランダム化
    ランダム化
    

    View Slide

15. 15
    提案手法 : Independent Randomization
    ▪ Independent Randomization : 各レイヤ独立にランダム化
    ランダム化
    

    View Slide

16. 16
    提案手法 : Data Randomization
    ▪ Data Randomization : 各データとラベルのランダム化
    ランダム化
    ▪ ラベルのランダム化に影響しない : データ自身とラベルの関係性の説明力なし
    

    View Slide

17. 17
    定性的結果: Gradient・SmoothGrad・GradCAMはパラメータに影響
    ・マスクの変化 ⇨ レイヤのパラメータ変化に敏感
    ・パラメータのランダム化により入力の構造(鳥)が確認できなくなる
    変化あり
    

    View Slide

18. 18
    定性的結果 : Guided Back-prop・Guided GradCAMは変化なし
    ・視覚的なマスクだけではネットワークの重みの変化を説明不可
    ・勾配変化なし ⇨ レイヤのパラメータ変化に鈍感
    変化なし
    

    View Slide

19. 19
    定性的結果 :Gradient・SmoothGrad・GradCAM で変化を確認
    ・Casading Randomizationの結果と同等の結果を確認
    ・マスクの変化あり ⇨ 各レイヤのパラメータ変化に敏感
    変化あり
    

    View Slide

20. 20
    定性的結果: Guided Back-propは高レイヤのランダム化で不変
    ・高レイヤのランダム化ではマスクは変化なし
    ・低レイヤで変化はあるも入力構造(鳥)を依然強調
    ⇨ レイヤのパラメータ変化に鈍感
    変化なし
    

    View Slide

21. 21
    定量的結果 : パラメータによる説明を視覚化するわけではない
    ・類似度高 ⇨ 内部(パラメータ)の異なる同ネットワークに対する説明力なし
    ・ランダム化前後のマスクの類似度をSSIM・HOGsを用いて比較
    

    View Slide

22. 22
    定性的結果: Gradient・GradCAMはデータの関係も反映
    ・各データに対するラベルをランダム化
    ・説明手法のインスタンスとラベルの関係の依存性を確認
    c c
    ・勾配の変化、マスクの変化を確認
    

    View Slide

23. 23
    定性的結果: その他手法は依然入力構造を強調
    ・勾配は多少変わるも、入力(0)を強調
    ・データとラベルの関係の説明力なし
    c c
    ・視覚的説明と判断結果の相関を説明できないという結果を確認
    

    View Slide

24. 24
    まとめ
    ⇨ 新規モデルの説明手法の選択の指針
    ・説明手法の説明範囲を評価する指針としてのテスト手法を提案
    ・一部の手法では、視覚的説明と判断結果の相関を説明できない
    という結果を確認
    ・視覚的説明だけではモデル構造やデータに対する
    説明力の判断ができない可能性があることを確認
    

    View Slide