Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks

1. 飯⽥ 紡1, ⼩槻 誠太郎1, 平川 翼2, ⼭下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 1慶應義塾⼤学 2中部⼤学 クラック分類タスクにおける Layer-wise Relevance Propagation for Branch Networksを⽤いた視覚的説明⽣成
2. 背景：深層学習モデルの説明性向上は汎化性能につながり重要 - 1 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化（医療・⾦融など） ▪ 未解明な理論の解明（太陽フレア[Iida+, ACCV22]など） ▪ クレバーハンス効果[Pfungst, 1907]の発⾒ 磁場画像 視覚的説明 道路画像＋視覚的説明 注⽬度：⾼ 低
3. 背景：深層学習モデルの説明性向上は汎化性能につながり重要 - 2 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化（医療・⾦融など） ▪ 未解明な理論の解明（太陽フレア[Iida+, ACCV22]など） ▪ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 道路画像＋視覚的説明 注⽬度：⾼ 低 太陽フレアの専⾨家 「フレアが⽩い部分から出て ⿊い部分に⼊る結果と⼀致 しており興味深い」
4. 背景：深層学習モデルの説明性向上は汎化性能につながり重要 - 3 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化（医療・⾦融など） ▪ 未解明な理論の解明（太陽フレア[Iida+, ACCV22]など） ▪ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 注⽬度：⾼ 低 道路画像＋視覚的説明 Googleのロゴに注⽬して分類 クレバーハンス効果の発⾒
5. 問題設定：判断根拠の視覚的説明⽣成タスク - 4 - 分類問題に対する判断根拠の視覚的説明⽣成 特に道路上のクラック有無分類問題を扱う ▪ ⼊⼒：画像 𝒙 ∈ ℝ!×#×$ ▪ 出⼒：予測・視覚的説明 𝜶 ∈ ℝ#×$ 視覚的説明： 予測に重要な画素 / 重要でない画素を可視化 道路画像における ⼊出⼒例
6. 関連研究： Attention Branch Network (ABN) [Fukui+, CVPR19] - 5 - 説明⽣成専⽤のモジュール Attention Branchをブランチ構造として導⼊ ▪ Attention map 𝛼% を予測時にも利⽤ ▪ Cyclic connectionを持つ ▪ Attention Branch⾃体がブラックボックスになってしまう Feature Extractor 𝒙 input 𝑝 # 𝒚 !" 𝑝 # 𝒚 #" ⊙ 𝒉 Attention Branch Perception Branch 𝜶$: attention map 𝒉 ⊙ 𝜶$
7. 関連研究：Layer-wise Relevance Propagation (LRP) - 6 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ を計算 ▪ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation） ▪ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/ 𝑧-/ ) ℛ 𝑧-1&/ ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# [Bach+, PLOS ONE15]
8. ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/ 𝑧-/ ) ℛ 𝑧-1&/ - 7 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ を計算 ▪ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation） ▪ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# 𝑤$# 𝑤## 𝑤!# + 𝑧!" 𝑤"# 𝑧!! 𝑧!# 𝑧!$ 関連研究：Layer-wise Relevance Propagation (LRP) [Bach+, PLOS ONE15]
9. XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21] LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究：ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 8 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet
10. XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21] LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究：ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 9 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet
11. 提案⼿法：Layer-wise Relevance Propagation for Branch Networks (LRP-BN) - 10 - 1. Cyclic connectionに対するLRPの計算⽅法を提案 2. ABNにLRPを導⼊し、視覚的説明を組み合わせる 3. Choice 1 Component (C1C)を導⼊してノイズを除去 ABN: attention map 𝛼% LRP : Relevance ℛ
12. Feature Extractor 𝒙 input 𝑝!" # 𝒚 𝑝#" # 𝒚 ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1：ブランチ構造に対するLRPの計算⽅法 1/3 - 11 - Cyclic Connectionのうち、2つの出⼒𝑝-. , 𝒚 , 𝑝/. , 𝒚 を持つ場合 𝒉に対するRelevance 𝓡 𝒉 の計算⽅法が未定義 → 𝑝-. , 𝒚 と 𝑝/. , 𝒚 からどのように逆伝播・合流するかを定義 𝒉 ⊙ 𝜶$ ① ②
13. Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1：ブランチ構造に対するLRPの計算⽅法 2/3 - 12 - Attention Branchをゲート構造と考える 𝑓/. 𝛼% ⊙ ℎ → attention map 𝛼%が実質的にゲートの役割 ゲート構造は逆に通らないとして計算（後述）[Arras+, WASSA17] 𝑝 , 𝒚 -. , 𝑝 , 𝒚 /. から計算したRelevanceをそれぞれ𝓡𝐀𝐁 , 𝓡𝐏𝐁 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚
14. Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1：ブランチ構造に対するLRPの計算⽅法 3/3 - 13 - 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation） 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚
15. Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1：ゲート構造を逆に通ると影響が重複 - 14 - 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation） 𝑝!" # 𝒚 𝑝#" # 𝒚
16. 提案⼿法1：Skip connectionに対するLRPの計算⽅法 - 15 - Cyclic Connectionのうち出⼒が1つの場合（skip connection） Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% residual block 𝓡 𝒛% Skip connection側は出⼒𝒛$の Relevance 𝓡 𝒛$
17. 提案⼿法1：Skip connectionに対するLRPの計算⽅法 - 16 - Cyclic Connectionのうち出⼒が1つの場合（skip connection） Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 residual block Residual block側は逆伝播で 計算したRelevance 𝓡⋆ 𝒛
18. 提案⼿法1：Skip connectionに対するLRPの計算⽅法 - 17 - Cyclic Connectionのうち出⼒が1つの場合（skip connection） Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 𝓡 𝒛% residual block
19. 提案⼿法2：ABNとLRPの併⽤により⾼品質な説明⽣成 - 18 - 単⼀の説明⽣成⼿法：修正の余地が少ない Attention mapとRelevanceを併⽤して修正機能を付与 ℛ ⊙ 𝜶% を説明に⽤いることでLRP・ABN双⽅が強く注⽬した領域を強調
20. 提案⼿法3：Choice 1 Component (C1C) の導⼊ - 19 - C1C: 注⽬領域を基に、最も注⽬すべき領域を選択 縮⼩して粗く連結領域を計算、選択 連結領域全体として注⽬度の低い背景やノイズなどを除去
21. 評価指標（Insertion-Deletion Score; ID Score） - 20 - ID Score (Insertion-Deletion Score) ▪ 重要な領域のみでも⼗分予測できるはず ▪ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ①視覚的説明の重要度が⾼い順に画素を挿⼊/削除 ②挿⼊/削除後の画像をモデル⼊⼒して𝑝 𝒚 を算出
22. 評価指標（Insertion-Deletion Score; ID Score） - 21 - ID Score (Insertion-Deletion Score) ▪ 重要な領域のみでも⼗分予測できるはず ▪ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ③ 挿⼊/削除したピクセル数と𝑝 𝒚 をプロット ④ ③でプロットした曲線のAUCを計算 ⑤ ID Score = Insertion − Deletion Insertion
23. 実験設定 - 22 - データセット RDD2022 Dataset (Road Damage Detection) クラック有無判定⽤に矩形領域で切り抜き Train: 66,641 / Validation: 7,405 / Test: 3,897 応⽤：⾞やカーナビのサービス、道路インフラ整備 評価指標 Insertion / Deletion / ID Score / IoU https://crddc2022.sekilab.global/data/
24. 定量的結果：提案⼿法がID Scoreで他⼿法を⼤きく上回る - 23 - Insertionでベースラインを⼤きく上回り、Deletionも他⼿法に匹敵 結果としてID Score最⾼ Insertion↑ Deletion↓ ID Score↑ RISE [Petisuk+, BMVC18] 0.373 ±0.042 0.054 ±0.027 0.319 ±0.018 GradCAM [Selvaraju, ICCV17] 0.635 ±0.026 0.052 ±0.011 0.583 ±0.020 LRP [Bach+, PLOS ONE15] 0.528 ±0.117 0.301 ±0.111 0.227 ±0.010 ABN [Fukui+, CVPR19] 0.358 ±0.035 0.090 ±0.013 0.268 ±0.039 Ours (LRP-BN) 0.804 ±0.005 0.069 ±0.006 0.735 ±0.007 +0.169 +0.152 ＊ ＊
25. 定量的結果：最も⼈間に近いマスクを⽣成 - 24 - 被験者4⼈が作成した200サンプルのクラックマスクとのIoUを計測 ⼈間が作成したクラックマスクと最も近く、適切にクラック領域を注⽬ IoU↑ RISE [Petisuk+, BMVC18] 0.167 ±0.004 GradCAM [Selvaraju+, ICCV17] 0.141 ±0.002 LRP [Bach+, PLOS ONE15] 0.111 ±0.000 ABN [Fukui+, CVPR19] 0.113 ±0.107 Ours (LRP-BN) 0.184 ±0.004 +0.017
26. 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 25 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像
27. [Selvaraju+] 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 26 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
28. [Selvaraju+] 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 27 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
29. [Selvaraju+] 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 28 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] LRP 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
30. [Selvaraju+] 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 29 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
31. [Selvaraju+] 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 30 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
32. 定性的結果1/2：提案⼿法は過不⾜なくクラックに注⽬ - 31 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
33. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 32 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像
34. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 33 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
35. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 34 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
36. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 35 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
37. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 36 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
38. 定性的結果2/2：提案⼿法は過不⾜なくクラックに注⽬ - 37 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
39. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 38 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬ RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ⼊⼒画像 ① ②
40. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 39 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
41. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 40 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
42. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 41 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
43. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 42 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
44. 定性的結果・失敗例：クラックの⼀部のみ注⽬した例 - 43 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬ RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 ① ②
45. エラー分析：⽩線や影に注⽬した失敗例が最も多い - 44 - ID scoreが低い100サンプルについてエラー分析を実施 ⽩線・影に誤って注⽬している例が最も多かった ⽩線・影の領域を抽出し、注⽬しない制約の導⼊が有効と考えられる ID 詳細 #Error WA 誤った領域に注⽬ 65 OA 注⽬領域が過剰 26 IA 注⽬領域が不⼗分 9 WAの例 OAの例 IAの例
46. Ablation Study：C1Cが性能向上に最も貢献 - 45 - ▪ C1Cを削除したモデル(ii)はモデル(iii)からID Score 0.54ポイント減 ▪ ℛ ⊙ 𝜶%の代わりにℛのみを⽤いたモデル(i)はモデル(iii)と同程度 上記より、定量的にC1Cが最も性能向上に貢献したといえる ⼀⽅で、AB Maskは定性的結果を良くする機能があると考えられる Model AB Mask C1C Insertion↑ Deletion↓ ID Score↑ (i) ✔ 0.804 0.070 0.734 (ii) ✔ 0.314 0.119 0.195 (iii) ✔ ✔ 0.804 0.069 0.735 AB Mask適⽤前 同適⽤後
47. まとめ・今後の実験 - 46 - 背景 深層学習モデルの説明性向上は汎化性能につながり重要 提案⼿法 Cyclic connectionに対するLRPの計算⽅法の提案 ABNにLRPを導⼊し、視覚的説明を組み合わせたLRP-BN 結果 提案⼿法が過不⾜なくクラックに注⽬した説明を⽣成し、 ID Scoreで他⼿法を⼤きく上回る