Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Visual Explanation Generation for Road Damage C...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 21, 2023
Technology
0
290
Visual Explanation Generation for Road Damage Classification by Using Layer-wise Relevance Propagation for Branch Networks
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 21, 2023
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Model Alignment as Prospect Theoretic Optimization
keio_smilab
PRO
0
63
[Journal club] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
keio_smilab
PRO
0
23
[Journal club] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
keio_smilab
PRO
1
57
Will multimodal language processing change the world?
keio_smilab
PRO
3
490
[Journal club] MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting
keio_smilab
PRO
0
110
[Journal club] Seeing the Unseen: Visual Common Sense for Semantic Placement
keio_smilab
PRO
0
110
[Journal club] Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot
keio_smilab
PRO
0
110
[Journal club] RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
keio_smilab
PRO
1
150
[Journal club] Simplified State Space Layers for Sequence Modeling
keio_smilab
PRO
0
140
Other Decks in Technology
See All in Technology
User Story Mapping + Inclusive Team
kawaguti
PRO
3
450
【Forkwell】「正しく」失敗できるチームを作る──現場のリーダーのための恐怖と不安を乗り越える技術 - FL#83 / A team that can fail correctly by forkwell
i35_267
2
110
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
600
Amazon Q Developerの無料利用枠を使い倒してHello worldを表示させよう!
nrinetcom
PRO
2
120
Apache Iceberg Case Study in LY Corporation
lycorptech_jp
PRO
0
380
20250307_エンジニアじゃないけどAzureはじめてみた
ponponmikankan
2
180
AIエージェント元年@日本生成AIユーザ会
shukob
1
260
LayerXにおけるAI活用事例とその裏側(2025年2月) バクラクの目指す “業務の自動運転” の例 / layerx-ai-deim2025
yuya4
4
700
LINEギフトにおけるバックエンド開発
lycorptech_jp
PRO
0
440
アジリティを高めるテストマネジメント #QiitaQualityForward
makky_tyuyan
1
390
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.8k
Охота на косуль у древних
ashapiro
0
130
Featured
See All Featured
Docker and Python
trallard
44
3.3k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
2.1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
380
Large-scale JavaScript Application Architecture
addyosmani
511
110k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
11
540
Product Roadmaps are Hard
iamctodd
PRO
51
11k
Rails Girls Zürich Keynote
gr2m
94
13k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
Statistics for Hackers
jakevdp
797
220k
Transcript
飯⽥ 紡1, ⼩槻 誠太郎1, 平川 翼2, ⼭下 隆義2, 藤吉 弘亘2,
杉浦 孔明1 1慶應義塾⼤学 2中部⼤学 クラック分類タスクにおける Layer-wise Relevance Propagation for Branch Networksを⽤いた視覚的説明⽣成
背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 1 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化(医療・⾦融など) ▪ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など)
▪ クレバーハンス効果[Pfungst, 1907]の発⾒ 磁場画像 視覚的説明 道路画像+視覚的説明 注⽬度:⾼ 低
背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 2 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化(医療・⾦融など) ▪ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など)
▪ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 道路画像+視覚的説明 注⽬度:⾼ 低 太陽フレアの専⾨家 「フレアが⽩い部分から出て ⿊い部分に⼊る結果と⼀致 しており興味深い」
背景:深層学習モデルの説明性向上は汎化性能につながり重要 - 3 - 深層学習モデルの説明性は重要 ▪ 説明責任の強化(医療・⾦融など) ▪ 未解明な理論の解明(太陽フレア[Iida+, ACCV22]など)
▪ クレバーハンス効果[Pfungst, 1907]の発⾒ Magnetogram画像 視覚的説明 注⽬度:⾼ 低 道路画像+視覚的説明 Googleのロゴに注⽬して分類 クレバーハンス効果の発⾒
問題設定:判断根拠の視覚的説明⽣成タスク - 4 - 分類問題に対する判断根拠の視覚的説明⽣成 特に道路上のクラック有無分類問題を扱う ▪ ⼊⼒:画像 𝒙 ∈
ℝ!×#×$ ▪ 出⼒:予測・視覚的説明 𝜶 ∈ ℝ#×$ 視覚的説明: 予測に重要な画素 / 重要でない画素を可視化 道路画像における ⼊出⼒例
関連研究: Attention Branch Network (ABN) [Fukui+, CVPR19] - 5 -
説明⽣成専⽤のモジュール Attention Branchをブランチ構造として導⼊ ▪ Attention map 𝛼% を予測時にも利⽤ ▪ Cyclic connectionを持つ ▪ Attention Branch⾃体がブラックボックスになってしまう Feature Extractor 𝒙 input 𝑝 # 𝒚 !" 𝑝 # 𝒚 #" ⊙ 𝒉 Attention Branch Perception Branch 𝜶$: attention map 𝒉 ⊙ 𝜶$
関連研究:Layer-wise Relevance Propagation (LRP) - 6 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ
を計算 ▪ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation) ▪ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/ 𝑧-/ ) ℛ 𝑧-1&/ ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# [Bach+, PLOS ONE15]
ℛ 𝑧-. = 0 / ReLU(𝑤./ 𝑧-/ ) ∑0 ReLU(𝑤0/
𝑧-/ ) ℛ 𝑧-1&/ - 7 - 正解クラスの予測値 𝑝(𝑦)を逆伝播してRelevance ℛ を計算 ▪ Relevanceの総和が常に𝑝(𝑦)と等しい (conservation) ▪ モジュールごとに計算⽅法が定義され透明性⾼ MLPの例 Conservationより ℛ 𝑧%& + ℛ 𝑧%% + ℛ 𝑧%' + ℛ 𝑧%( = 0.8 0.8 … 0 0 𝑧!" 𝑧!! 𝑧!# 𝑧!$ 𝑥" 𝑥% ℛ 𝑝(𝑦) ℛ(𝑧!) ℛ(𝑧") ℛ 𝑧!" ∶ + 𝑤"# 𝑤$# 𝑤## 𝑤!# 𝑤$# 𝑤## 𝑤!# + 𝑧!" 𝑤"# 𝑧!! 𝑧!# 𝑧!$ 関連研究:Layer-wise Relevance Propagation (LRP) [Bach+, PLOS ONE15]
XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21]
LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究:ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 8 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet
XAI for Transformers [Ali+, ICML22] 保全性を満たすようにLRPをTransformer / LayerNormへ適⽤ [Chefer+, CVPR21]
LRPと注意機構のattentionを組み合わせて説明⽣成 [Arras+, WASSA17] RNN, LSTMにLRP適⽤、ゲート構造は逆伝播しない 関連研究:ResNet等のcyclic connectionをもつモデルに 対する適切なLRPの計算⽅法は未確⽴ - 9 - Cyclic connectionを持つモデルに対する適切な計算⽅法が未確⽴ 画像処理では多くがVGG[Simonyan+, ICLR15]を対象 ResNetやAttention Branch Networkにおける計算⽅法は未確⽴ LRP / ResNet
提案⼿法:Layer-wise Relevance Propagation for Branch Networks (LRP-BN) - 10 -
1. Cyclic connectionに対するLRPの計算⽅法を提案 2. ABNにLRPを導⼊し、視覚的説明を組み合わせる 3. Choice 1 Component (C1C)を導⼊してノイズを除去 ABN: attention map 𝛼% LRP : Relevance ℛ
Feature Extractor 𝒙 input 𝑝!" # 𝒚 𝑝#" # 𝒚
⊙ 𝒉 Attention Branch Perception Branch 𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 1/3 - 11 - Cyclic Connectionのうち、2つの出⼒𝑝-. , 𝒚 , 𝑝/. , 𝒚 を持つ場合 𝒉に対するRelevance 𝓡 𝒉 の計算⽅法が未定義 → 𝑝-. , 𝒚 と 𝑝/. , 𝒚 からどのように逆伝播・合流するかを定義 𝒉 ⊙ 𝜶$ ① ②
Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch
𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 2/3 - 12 - Attention Branchをゲート構造と考える 𝑓/. 𝛼% ⊙ ℎ → attention map 𝛼%が実質的にゲートの役割 ゲート構造は逆に通らないとして計算(後述)[Arras+, WASSA17] 𝑝 , 𝒚 -. , 𝑝 , 𝒚 /. から計算したRelevanceをそれぞれ𝓡𝐀𝐁 , 𝓡𝐏𝐁 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚
Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch
𝜶$ 提案⼿法1:ブランチ構造に対するLRPの計算⽅法 3/3 - 13 - 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation) 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝!" # 𝒚 𝑝#" # 𝒚
Feature Extractor 𝒙 input ⊙ 𝒉 Attention Branch Perception Branch
𝜶$ 提案⼿法1:ゲート構造を逆に通ると影響が重複 - 14 - 𝒉 ⊙ 𝜶$ 𝓡𝐀𝐁 𝓡𝐏𝐁 𝑝-. , 𝒚 , 𝑝/. , 𝒚 から計算したRelevanceをそれぞれ𝓡𝐀𝐁, 𝓡𝐏𝐁 𝓡 𝒉 = 𝓡𝐀𝐁 + 𝓡𝐏𝐁 𝓡 𝒉 のRelevanceの総和が𝑝-. , 𝒚 + 𝑝/. , 𝒚 と等しい (conservation) 𝑝!" # 𝒚 𝑝#" # 𝒚
提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 15 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡
𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% residual block 𝓡 𝒛% Skip connection側は出⼒𝒛$の Relevance 𝓡 𝒛$
提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 16 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡
𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 residual block Residual block側は逆伝播で 計算したRelevance 𝓡⋆ 𝒛
提案⼿法1:Skip connectionに対するLRPの計算⽅法 - 17 - Cyclic Connectionのうち出⼒が1つの場合(skip connection) Conservationを満たし⾜し合わせる最も簡単な⽅法として以下を採⽤ 𝓡
𝒛 = 𝛾𝓡⋆ 𝒛 + 1 − 𝛾 𝓡 𝒛% 𝒛 𝑔 𝒛 𝒛% = 𝑔 𝒛 + 𝒛 ⊕ skip connection 𝓡 𝒛% 𝓡⋆ 𝒛 𝓡 𝒛% residual block
提案⼿法2:ABNとLRPの併⽤により⾼品質な説明⽣成 - 18 - 単⼀の説明⽣成⼿法:修正の余地が少ない Attention mapとRelevanceを併⽤して修正機能を付与 ℛ ⊙ 𝜶%
を説明に⽤いることでLRP・ABN双⽅が強く注⽬した領域を強調
提案⼿法3:Choice 1 Component (C1C) の導⼊ - 19 - C1C: 注⽬領域を基に、最も注⽬すべき領域を選択
縮⼩して粗く連結領域を計算、選択 連結領域全体として注⽬度の低い背景やノイズなどを除去
評価指標(Insertion-Deletion Score; ID Score) - 20 - ID Score (Insertion-Deletion
Score) ▪ 重要な領域のみでも⼗分予測できるはず ▪ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ①視覚的説明の重要度が⾼い順に画素を挿⼊/削除 ②挿⼊/削除後の画像をモデル⼊⼒して𝑝 𝒚 を算出
評価指標(Insertion-Deletion Score; ID Score) - 21 - ID Score (Insertion-Deletion
Score) ▪ 重要な領域のみでも⼗分予測できるはず ▪ 重要な領域を削除すれば予測精度が落ちる という仮説に基づいた評価指標 ③ 挿⼊/削除したピクセル数と𝑝 𝒚 をプロット ④ ③でプロットした曲線のAUCを計算 ⑤ ID Score = Insertion − Deletion Insertion
実験設定 - 22 - データセット RDD2022 Dataset (Road Damage Detection)
クラック有無判定⽤に矩形領域で切り抜き Train: 66,641 / Validation: 7,405 / Test: 3,897 応⽤:⾞やカーナビのサービス、道路インフラ整備 評価指標 Insertion / Deletion / ID Score / IoU https://crddc2022.sekilab.global/data/
定量的結果:提案⼿法がID Scoreで他⼿法を⼤きく上回る - 23 - Insertionでベースラインを⼤きく上回り、Deletionも他⼿法に匹敵 結果としてID Score最⾼ Insertion↑ Deletion↓
ID Score↑ RISE [Petisuk+, BMVC18] 0.373 ±0.042 0.054 ±0.027 0.319 ±0.018 GradCAM [Selvaraju, ICCV17] 0.635 ±0.026 0.052 ±0.011 0.583 ±0.020 LRP [Bach+, PLOS ONE15] 0.528 ±0.117 0.301 ±0.111 0.227 ±0.010 ABN [Fukui+, CVPR19] 0.358 ±0.035 0.090 ±0.013 0.268 ±0.039 Ours (LRP-BN) 0.804 ±0.005 0.069 ±0.006 0.735 ±0.007 +0.169 +0.152 * *
定量的結果:最も⼈間に近いマスクを⽣成 - 24 - 被験者4⼈が作成した200サンプルのクラックマスクとのIoUを計測 ⼈間が作成したクラックマスクと最も近く、適切にクラック領域を注⽬ IoU↑ RISE [Petisuk+, BMVC18]
0.167 ±0.004 GradCAM [Selvaraju+, ICCV17] 0.141 ±0.002 LRP [Bach+, PLOS ONE15] 0.111 ±0.000 ABN [Fukui+, CVPR19] 0.113 ±0.107 Ours (LRP-BN) 0.184 ±0.004 +0.017
定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 25 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬
GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像
[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 26 - RISE LRP ABN Ours (LRP-ABN)
GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 27 - RISE LRP ABN Ours (LRP-ABN)
GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 28 - RISE LRP ABN Ours (LRP-ABN)
GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] LRP 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 29 - RISE LRP ABN Ours (LRP-ABN)
GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
[Selvaraju+] 定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 30 - RISE LRP ABN Ours (LRP-ABN)
GradCAM ⼊⼒画像 [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
定性的結果1/2:提案⼿法は過不⾜なくクラックに注⽬ - 31 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] 注⽬領域が画像全体に広がり、何もな い道路にも注⽬ GradCAM[Selvaraju, ICCV17] 強い注⽬がクラックを外れて広がって しまっている LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] クラックの⼀部に注⽬できていない 背景にも弱く注⽬している
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 32 - 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju,
ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 33 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 34 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 35 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 36 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
定性的結果2/2:提案⼿法は過不⾜なくクラックに注⽬ - 37 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 提案⼿法は詳細にクラックに注⽬してお り、領域の過不⾜がない RISE[Petisuk+, BMVC18] クラック周囲の道路にのみ注⽬ GradCAM[Selvaraju, ICCV17] クラックの外側から広がるように注⽬ LRP[Bach+, PLOS ONE15] 全体の注⽬度が同程度で不適切 ABN[Fukui+, CVPR19] 画像中の右上のクラックにのみ注⽬ 中央のクラック領域は注⽬度が低い
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 38 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ⼊⼒画像 ① ②
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 39 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] RISE ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 40 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] GradCAM ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 41 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] ABN ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 42 - RISE LRP ABN Ours (LRP-ABN) GradCAM
⼊⼒画像 [Selvaraju+] [Petisuk+] [Fukui+] [Bach+] Ours ① ② 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
定性的結果・失敗例:クラックの⼀部のみ注⽬した例 - 43 - 道路が整備されておらず 道路・クラックの境界が曖昧で 説明⽣成が困難 全⼿法が画像右上の領域を強く注⽬ ①のクラックには全く注⽬できていない ②のクラックはRISEのみ⼀部注⽬
RISE LRP ABN Ours (LRP-ABN) GradCAM ⼊⼒画像 ① ②
エラー分析:⽩線や影に注⽬した失敗例が最も多い - 44 - ID scoreが低い100サンプルについてエラー分析を実施 ⽩線・影に誤って注⽬している例が最も多かった ⽩線・影の領域を抽出し、注⽬しない制約の導⼊が有効と考えられる ID 詳細
#Error WA 誤った領域に注⽬ 65 OA 注⽬領域が過剰 26 IA 注⽬領域が不⼗分 9 WAの例 OAの例 IAの例
Ablation Study:C1Cが性能向上に最も貢献 - 45 - ▪ C1Cを削除したモデル(ii)はモデル(iii)からID Score 0.54ポイント減 ▪
ℛ ⊙ 𝜶%の代わりにℛのみを⽤いたモデル(i)はモデル(iii)と同程度 上記より、定量的にC1Cが最も性能向上に貢献したといえる ⼀⽅で、AB Maskは定性的結果を良くする機能があると考えられる Model AB Mask C1C Insertion↑ Deletion↓ ID Score↑ (i) ✔ 0.804 0.070 0.734 (ii) ✔ 0.314 0.119 0.195 (iii) ✔ ✔ 0.804 0.069 0.735 AB Mask適⽤前 同適⽤後
まとめ・今後の実験 - 46 - 背景 深層学習モデルの説明性向上は汎化性能につながり重要 提案⼿法 Cyclic connectionに対するLRPの計算⽅法の提案 ABNにLRPを導⼊し、視覚的説明を組み合わせたLRP-BN
結果 提案⼿法が過不⾜なくクラックに注⽬した説明を⽣成し、 ID Scoreで他⼿法を⼤きく上回る