Slide 1

Slide 1 text

飯⽥ 紡1, ⼩槻 誠太郎1, 平川 翼2, ⼭下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 1慶應義塾⼤学 2中部⼤学 クラック分類タスクにおける Layer-wise Relevance Propagation for Branch Networksを⽤いた視覚的説明⽣成

Slide 2

Slide 2 text

背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 1 - 深層学習モデルの説明性は重要 ■ 説明責任の強化(医療・⾦融など) ■ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など) ■ クレバーハンス効果[Pfungst, 1907]の発⾒ 磁場画像 視覚的説明 道路画像+視覚的説明 注⽬度:⾼ 低

Slide 3

Slide 3 text

背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 2 - 深層学習モデルの説明性は重要 ■ 説明責任の強化(医療・⾦融など) ■ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など) ■ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 道路画像+視覚的説明 注⽬度:⾼ 低 太陽フレアの専⾨家 「フレアが⽩い部分から出て ⿊い部分に⼊る結果と⼀致 しており興味深い」

Slide 4

Slide 4 text

背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 3 - 深層学習モデルの説明性は重要 ■ 説明責任の強化(医療・⾦融など) ■ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など) ■ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 注⽬度:⾼ 低 道路画像+視覚的説明 Googleのロゴに注⽬して分類 クレバーハンス効果の発⾒

Slide 5

Slide 5 text

問題設定:判断根拠の視覚的説明⽣成タスク - 4 - 分類問題に対する判断根拠の視覚的説明⽣成 特に道路上のクラック有無分類問題を扱う ■ ⼊⼒:画像 𝒙 ∈ ℝ!×#×$ ■ 出⼒:予測・視覚的説明 𝜶 ∈ ℝ#×$ 視覚的説明: 予測に重要な画素 / 重要でない画素を可視化 道路画像における ⼊出⼒例

Slide 6

Slide 6 text

関連研究: Attention Branch Network (ABN) [Fukui+, CVPR19] - 5 - 説明⽣成専⽤のモジュール Attention Branchをブランチ構造として導⼊ ■ Attention map 𝛼% を予測時にも利⽤ ■ Cyclic connectionを持つ ■ Attention Branch⾃体がブラックボックスになってしまう Feature Extractor 𝒙 input 𝑝 # 𝒚 !" 𝑝 # 𝒚 #" ⊙ 𝒉 Attention Branch Perception Branch 𝜶$: attention map 𝒉 ⊙ 𝜶$

Slide 7

Slide 7 text

関連研究:Layer-wise Relevance Propagation (LRP) - 6 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ を計算 ■ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation) ■ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/ 𝑧-/ ) ℛ 𝑧-1&/ ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# [Bach+, PLOS ONE15]

Slide 8

Slide 8 text

ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/ 𝑧-/ ) ℛ 𝑧-1&/ - 7 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ を計算 ■ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation) ■ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# 𝑤$# 𝑤## 𝑤!# + 𝑧!" 𝑤"# 𝑧!! 𝑧!# 𝑧!$ 関連研究:Layer-wise Relevance Propagation (LRP) [Bach+, PLOS ONE15]

Slide 9

Slide 9 text

XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21] LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究:ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 8 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet

Slide 10

Slide 10 text

XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21] LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究:ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 9 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet

Slide 11

Slide 11 text

提案⼿法:Layer-wise Relevance Propagation for Branch Networks (LRP-BN) - 10 - 1. Cyclic connectionに対するLRPの計算⽅法を提案 2. ABNにLRPを導⼊し、視覚的説明を組み合わせる 3. Choice 1 Component (C1C)を導⼊してノイズを除去 ABN: attention map 𝛼% LRP : Relevance ℛ

Slide 12

Slide 12 text

Feature Extractor 𝒙 input 𝑝!" # 𝒚 𝑝#" # 𝒚 ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 1/3 - 11 - Cyclic Connectionのうち、2つの出⼒𝑝-. , 𝒚 , 𝑝/. , 𝒚 を持つ場合 𝒉に対するRelevance 𝓡 𝒉 の計算⽅法が未定義 → 𝑝-. , 𝒚 と 𝑝/. , 𝒚 からどのように逆伝播・合流するかを定義 𝒉 ⊙ 𝜶$ ① ②

Slide 13

Slide 13 text

Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 2/3 - 12 - Attention Branchをゲート構造と考える 𝑓/. 𝛼% ⊙ ℎ → attention map 𝛼%が実質的にゲートの役割 ゲート構造は逆に通らないとして計算(後述)[Arras+, WASSA17] 𝑝 , 𝒚 -. , 𝑝 , 𝒚 /. から計算したRelevanceをそれぞれ𝓡𝐀𝐁 , 𝓡𝐏𝐁 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚

Slide 14

Slide 14 text

Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 3/3 - 13 - 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation) 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚

Slide 15

Slide 15 text

Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1:ゲート構造を逆に通ると影響が重複 - 14 - 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation) 𝑝!" # 𝒚 𝑝#" # 𝒚

Slide 16

Slide 16 text

提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 15 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% residual block 𝓡 𝒛% Skip connection側は出⼒𝒛$の Relevance 𝓡 𝒛$

Slide 17

Slide 17 text

提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 16 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 residual block Residual block側は逆伝播で 計算したRelevance 𝓡⋆ 𝒛

Slide 18

Slide 18 text

提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 17 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡 𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 𝓡 𝒛% residual block

Slide 19

Slide 19 text

提案⼿法2:ABNとLRPの併⽤により⾼品質な説明⽣成 - 18 - 単⼀の説明⽣成⼿法:修正の余地が少ない Attention mapとRelevanceを併⽤して修正機能を付与 ℛ ⊙ 𝜶% を説明に⽤いることでLRP・ABN双⽅が強く注⽬した領域を強調

Slide 20

Slide 20 text

提案⼿法3:Choice 1 Component (C1C) の導⼊ - 19 - C1C: 注⽬領域を基に、最も注⽬すべき領域を選択 縮⼩して粗く連結領域を計算、選択 連結領域全体として注⽬度の低い背景やノイズなどを除去

Slide 21

Slide 21 text

評価指標(Insertion-Deletion Score; ID Score) - 20 - ID Score (Insertion-Deletion Score) ■ 重要な領域のみでも⼗分予測できるはず ■ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ①視覚的説明の重要度が⾼い順に画素を挿⼊/削除 ②挿⼊/削除後の画像をモデル⼊⼒して𝑝 𝒚 を算出

Slide 22

Slide 22 text

評価指標(Insertion-Deletion Score; ID Score) - 21 - ID Score (Insertion-Deletion Score) ■ 重要な領域のみでも⼗分予測できるはず ■ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ③ 挿⼊/削除したピクセル数と𝑝 𝒚 をプロット ④ ③でプロットした曲線のAUCを計算 ⑤ ID Score = Insertion − Deletion Insertion

Slide 23

Slide 23 text

実験設定 - 22 - データセット RDD2022 Dataset (Road Damage Detection) クラック有無判定⽤に矩形領域で切り抜き Train: 66,641 / Validation: 7,405 / Test: 3,897 応⽤:⾞やカーナビのサービス、道路インフラ整備 評価指標 Insertion / Deletion / ID Score / IoU https://crddc2022.sekilab.global/data/

Slide 24

Slide 24 text

定量的結果:提案⼿法がID Scoreで他⼿法を⼤きく上回る - 23 - Insertionでベースラインを⼤きく上回り、Deletionも他⼿法に匹敵 結果としてID Score最⾼ Insertion↑ Deletion↓ ID Score↑ RISE [Petisuk+, BMVC18] 0.373 ±0.042 0.054 ±0.027 0.319 ±0.018 GradCAM [Selvaraju, ICCV17] 0.635 ±0.026 0.052 ±0.011 0.583 ±0.020 LRP [Bach+, PLOS ONE15] 0.528 ±0.117 0.301 ±0.111 0.227 ±0.010 ABN [Fukui+, CVPR19] 0.358 ±0.035 0.090 ±0.013 0.268 ±0.039 Ours (LRP-BN) 0.804 ±0.005 0.069 ±0.006 0.735 ±0.007 +0.169 +0.152 * *

Slide 25

Slide 25 text

定量的結果:最も⼈間に近いマスクを⽣成 - 24 - 被験者4⼈が作成した200サンプルのクラックマスクとのIoUを計測 ⼈間が作成したクラックマスクと最も近く、適切にクラック領域を注⽬ IoU↑ RISE [Petisuk+, BMVC18] 0.167 ±0.004 GradCAM [Selvaraju+, ICCV17] 0.141 ±0.002 LRP [Bach+, PLOS ONE15] 0.111 ±0.000 ABN [Fukui+, CVPR19] 0.113 ±0.107 Ours (LRP-BN) 0.184 ±0.004 +0.017

Slide 26

Slide 26 text

定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 25 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像

Slide 27

Slide 27 text

[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 26 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 28

Slide 28 text

[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 27 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 29

Slide 29 text

[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 28 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] LRP 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 30

Slide 30 text

[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 29 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 31

Slide 31 text

[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 30 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 32

Slide 32 text

定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 31 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している

Slide 33

Slide 33 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 32 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像

Slide 34

Slide 34 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 33 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い

Slide 35

Slide 35 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 34 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い

Slide 36

Slide 36 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 35 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い

Slide 37

Slide 37 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 36 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い

Slide 38

Slide 38 text

定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 37 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い

Slide 39

Slide 39 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 38 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬ RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ⼊⼒画像 ① ②

Slide 40

Slide 40 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 39 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬

Slide 41

Slide 41 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 40 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬

Slide 42

Slide 42 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 41 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬

Slide 43

Slide 43 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 42 - RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬

Slide 44

Slide 44 text

定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 43 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬ RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 ① ②

Slide 45

Slide 45 text

エラー分析:⽩線や影に注⽬した失敗例が最も多い - 44 - ID scoreが低い100サンプルについてエラー分析を実施 ⽩線・影に誤って注⽬している例が最も多かった ⽩線・影の領域を抽出し、注⽬しない制約の導⼊が有効と考えられる ID 詳細 #Error WA 誤った領域に注⽬ 65 OA 注⽬領域が過剰 26 IA 注⽬領域が不⼗分 9 WAの例 OAの例 IAの例

Slide 46

Slide 46 text

Ablation Study:C1Cが性能向上に最も貢献 - 45 - ■ C1Cを削除したモデル(ii)はモデル(iii)からID Score 0.54ポイント減 ■ ℛ ⊙ 𝜶%の代わりにℛのみを⽤いたモデル(i)はモデル(iii)と同程度 上記より、定量的にC1Cが最も性能向上に貢献したといえる ⼀⽅で、AB Maskは定性的結果を良くする機能があると考えられる Model AB Mask C1C Insertion↑ Deletion↓ ID Score↑ (i) ✔ 0.804 0.070 0.734 (ii) ✔ 0.314 0.119 0.195 (iii) ✔ ✔ 0.804 0.069 0.735 AB Mask適⽤前 同適⽤後

Slide 47

Slide 47 text

まとめ・今後の実験 - 46 - 背景 深層学習モデルの説明性向上は汎化性能につながり重要 提案⼿法 Cyclic connectionに対するLRPの計算⽅法の提案 ABNにLRPを導⼊し、視覚的説明を組み合わせたLRP-BN 結果 提案⼿法が過不⾜なくクラックに注⽬した説明を⽣成し、 ID Scoreで他⼿法を⼤きく上回る