Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24] Layer-Wise Relevance Propagation for R...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Technology
1
380
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Model Alignment as Prospect Theoretic Optimization
keio_smilab
PRO
0
60
[Journal club] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
keio_smilab
PRO
0
20
[Journal club] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
keio_smilab
PRO
0
53
Will multimodal language processing change the world?
keio_smilab
PRO
3
480
[Journal club] MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting
keio_smilab
PRO
0
110
[Journal club] Seeing the Unseen: Visual Common Sense for Semantic Placement
keio_smilab
PRO
0
110
[Journal club] Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot
keio_smilab
PRO
0
110
[Journal club] RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
keio_smilab
PRO
1
140
[Journal club] Simplified State Space Layers for Sequence Modeling
keio_smilab
PRO
0
130
Other Decks in Technology
See All in Technology
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
17
45k
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
150
AWSではじめる Web APIテスト実践ガイド / A practical guide to testing Web APIs on AWS
yokawasa
8
670
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
150
サイト信頼性エンジニアリングとAmazon Web Services / SRE and AWS
ymotongpoo
7
1.5k
DevinでAI AWSエンジニア製造計画 序章 〜CDKを添えて〜/devin-load-to-aws-engineer
tomoki10
0
100
大規模アジャイルフレームワークから学ぶエンジニアマネジメントの本質
staka121
PRO
3
1.1k
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
2
100
Visualize, Visualize, Visualize and rclone
tomoaki0705
9
82k
OPENLOGI Company Profile
hr01
0
60k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
18k
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.3k
A designer walks into a library…
pauljervisheath
205
24k
4 Signs Your Business is Dying
shpigford
182
22k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Thoughts on Productivity
jonyablonski
69
4.5k
How to Ace a Technical Interview
jacobian
276
23k
Done Done
chrislema
182
16k
Building a Scalable Design System with Sketch
lauravandoore
461
33k
Fashionably flexible responsive web design (full day workshop)
malarkey
406
66k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.7k
Transcript
Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,
デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -
背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の
透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
問題設定: 画像分類モデルの判断根拠の視覚的説明生成 どの画素がどれほど画像分類モデル の予測に寄与したかを可視化 - 4 - 画像 予測 入力
判断根拠の視覚的説明 出力
既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise
Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 各層でのRelevanceの総和
== モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 -
7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !
提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat
Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配
- 9 - 採用
Heat Quantization: attributionへの後処理 関係のない領域へのattributionを低減 説明生成手法によって生成した説明 à 最終的な説明 の各要素の値について量子化 - 10
-
実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,
’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細
ours Score-CAM Grad-CAM
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細
Score-CAM Grad-CAM ours
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP
定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -
Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting:
出力値の比率で分配 - 17 - 採用
Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -
Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
Ablation study: Heat Quantizationは 関係のない領域へのattributionを低減 ピンポン玉の周囲の 領域へのattributionを低減 - 19 -
Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 20 -
Appendix èèè - 21 -
エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰
WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
定量的結果 – full CUB dataset - 23 - Methods [%]
Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑
Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか 他の疑問 Skip Connectionが 恒等写像の場合を convolutionの場合と 同等に扱うべきか?
- 25 - 検討 パラメータによる変換を 伴わない恒等写像の場合, 寄与を0とする à Ignore ID
Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -
26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block
においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義
- 28 -
Gallery – Rock Wren - 29 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Savannah Sparrow - 32 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Brandt Cormorant - 33 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – American Crow - 34 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Water Ouzel - 35 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Arabian Camel - 36 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Bee - 37 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Bustard - 38 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Ram - 39 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Wombat - 40 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM