Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24] Layer-Wise Relevance Propagation for R...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Technology
1
510
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
keio_smilab
PRO
0
47
[Journal club] Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance
keio_smilab
PRO
0
49
[Journal club] Influence-Balanced Loss for Imbalanced Visual Classification
keio_smilab
PRO
0
15
[Journal club] Learning to Rematch Mismatched Pairs for Robust Cross-Modal Retrieval
keio_smilab
PRO
0
31
[Journal club] AuroraCap: Efficient, Performant Video Detailed Captioning and a New Benchmark
keio_smilab
PRO
0
43
[MIRU25] NaiLIA: Multimodal Retrieval of Nail Designs Based on Dense Intent Descriptions
keio_smilab
PRO
1
210
[MIRU25] An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions
keio_smilab
PRO
1
210
[MIRU2025]Preference Optimization for Multimodal Large Language Models for Image Captioning Tasks
keio_smilab
PRO
0
180
Semantic Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
3
480
Other Decks in Technology
See All in Technology
我々は雰囲気で仕事をしている / How can we do vibe coding as well
naospon
2
220
.NET開発者のためのAzureの概要
tomokusaba
0
230
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
180
Evolution on AI Agent and Beyond - AGI への道のりと、シンギュラリティの3つのシナリオ
masayamoriofficial
0
170
RAID6 を楔形文字で組んで現代人を怖がらせましょう(実装編)
mimifuwa
0
300
夢の印税生活 / Life on Royalties
tmtms
0
280
LLM時代の検索とコンテキストエンジニアリング
shibuiwilliam
2
1.1k
DeNA での思い出 / Memories at DeNA
orgachem
PRO
3
1.6k
LLMエージェント時代に適応した開発フロー
hiragram
1
410
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
2
280
GCASアップデート(202506-202508)
techniczna
0
250
Claude Code x Androidアプリ 開発
kgmyshin
1
570
Featured
See All Featured
RailsConf 2023
tenderlove
30
1.2k
Typedesign – Prime Four
hannesfritz
42
2.8k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
139
34k
GraphQLとの向き合い方2022年版
quramy
49
14k
jQuery: Nuts, Bolts and Bling
dougneiner
64
7.9k
The World Runs on Bad Software
bkeepers
PRO
70
11k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Gamification - CAS2011
davidbonilla
81
5.4k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Designing for humans not robots
tammielis
253
25k
Building Applications with DynamoDB
mza
96
6.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Transcript
Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,
デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -
背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の
透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
問題設定: 画像分類モデルの判断根拠の視覚的説明生成 どの画素がどれほど画像分類モデル の予測に寄与したかを可視化 - 4 - 画像 予測 入力
判断根拠の視覚的説明 出力
既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise
Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 各層でのRelevanceの総和
== モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 -
7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !
提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat
Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配
- 9 - 採用
Heat Quantization: attributionへの後処理 関係のない領域へのattributionを低減 説明生成手法によって生成した説明 à 最終的な説明 の各要素の値について量子化 - 10
-
実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,
’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細
ours Score-CAM Grad-CAM
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細
Score-CAM Grad-CAM ours
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP
定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -
Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting:
出力値の比率で分配 - 17 - 採用
Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -
Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
Ablation study: Heat Quantizationは 関係のない領域へのattributionを低減 ピンポン玉の周囲の 領域へのattributionを低減 - 19 -
Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 20 -
Appendix èèè - 21 -
エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰
WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
定量的結果 – full CUB dataset - 23 - Methods [%]
Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑
Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか 他の疑問 Skip Connectionが 恒等写像の場合を convolutionの場合と 同等に扱うべきか?
- 25 - 検討 パラメータによる変換を 伴わない恒等写像の場合, 寄与を0とする à Ignore ID
Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -
26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block
においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義
- 28 -
Gallery – Rock Wren - 29 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Savannah Sparrow - 32 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Brandt Cormorant - 33 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – American Crow - 34 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Water Ouzel - 35 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Arabian Camel - 36 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Bee - 37 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Bustard - 38 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Ram - 39 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Wombat - 40 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM