[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property

Slide 1

Slide 1 text

Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成小槻誠太郎1, 飯田紡1, デュブレフェリックス1, 平川翼2, 山下隆義2, 藤吉弘亘2, 杉浦孔明1 慶應義塾大学1, 中部大学2

Slide 2

Slide 2 text

透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張画像分類モデルの判断根拠の視覚的説明生成新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -

Slide 3

Slide 3 text

背景: 深層学習モデルの判断根拠の可視化は有用モデルの推論による過失が致命的な分野 (医療, 交通, ...) 説明責任の強化課題: 説明生成手法自体の透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用

Slide 4

Slide 4 text

問題設定: 画像分類モデルの判断根拠の視覚的説明生成どの画素がどれほど画像分類モデルの予測に寄与したかを可視化 - 4 - 画像予測入力判断根拠の視覚的説明出力

Slide 5

Slide 5 text

既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層の出力に依存. それ以前の構造に依らない. Layer-wise Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -

Slide 6

Slide 6 text

既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播各層でのRelevanceの総和 == モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -

Slide 7

Slide 7 text

既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 - 7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !

Slide 8

Slide 8 text

提案: LRPをResNetに適用できるよう拡張新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -

Slide 9

Slide 9 text

Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配 - 9 - 採用

Slide 10

Slide 10 text

Heat Quantization: attributionへの後処理関係のない領域へのattributionを低減説明生成手法によって生成した説明 à 最終的な説明の各要素の値について量子化 - 10 -

Slide 11

Slide 11 text

実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+, ’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet

Slide 12

Slide 12 text

定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細 ours Score-CAM Grad-CAM

Slide 13

Slide 13 text

定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細 Score-CAM Grad-CAM ours

Slide 14

Slide 14 text

定性的結果: ResNetに対して適切に機能既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP

Slide 15

Slide 15 text

定性的結果: ResNetに対して適切に機能既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP

Slide 16

Slide 16 text

定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 - Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4

Slide 17

Slide 17 text

(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配 - 17 - 採用

Slide 18

Slide 18 text

Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel

Slide 19

Slide 19 text

Ablation study: Heat Quantizationは関係のない領域へのattributionを低減ピンポン玉の周囲の領域へのattributionを低減 - 19 - Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Appendix èèè - 21 -

Slide 22

Slide 22 text

エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰 WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”

Slide 23

Slide 23 text

定量的結果 – full CUB dataset - 23 - Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0

Slide 24

Slide 24 text

定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5

Slide 25

Slide 25 text

Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか他の疑問 Skip Connectionが恒等写像の場合を convolutionの場合と同等に扱うべきか？ - 25 - 検討パラメータによる変換を伴わない恒等写像の場合, 寄与を0とする à Ignore ID

Slide 26

Slide 26 text

Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 - 26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7

Slide 27

Slide 27 text

分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)

Slide 28

Slide 28 text

Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義 - 28 -

Slide 29

Slide 29 text

Gallery – Rock Wren - 29 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 30

Slide 30 text

Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 31

Slide 31 text

Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 32

Slide 32 text

Gallery – Savannah Sparrow - 32 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 33

Slide 33 text

Gallery – Brandt Cormorant - 33 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 34

Slide 34 text

Gallery – American Crow - 34 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 35

Slide 35 text

Gallery – Water Ouzel - 35 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM

Slide 36

Slide 36 text

Gallery – Arabian Camel - 36 - Original Ours IG Grad-CAM Guided BP LRP Score-CAM