Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24] Layer-Wise Relevance Propagation for R...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Technology
1
380
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[Journal club] Model Alignment as Prospect Theoretic Optimization
keio_smilab
PRO
0
61
[Journal club] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
keio_smilab
PRO
0
23
[Journal club] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
keio_smilab
PRO
1
55
Will multimodal language processing change the world?
keio_smilab
PRO
3
480
[Journal club] MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting
keio_smilab
PRO
0
110
[Journal club] Seeing the Unseen: Visual Common Sense for Semantic Placement
keio_smilab
PRO
0
110
[Journal club] Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot
keio_smilab
PRO
0
110
[Journal club] RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
keio_smilab
PRO
1
150
[Journal club] Simplified State Space Layers for Sequence Modeling
keio_smilab
PRO
0
140
Other Decks in Technology
See All in Technology
Охота на косуль у древних
ashapiro
0
120
[OpsJAWS Meetup33 AIOps] Amazon Bedrockガードレールで守る安全なAI運用
akiratameto
1
120
事業モメンタムを生み出すプロダクト開発
macchiitaka
0
100
IoTシステム開発の複雑さを低減するための統合的アーキテクチャ
kentaro
1
120
AIエージェント開発のノウハウと課題
pharma_x_tech
8
4.3k
IAMのマニアックな話2025
nrinetcom
PRO
6
1.3k
Ruby on Railsで持続可能な開発を行うために取り組んでいること
am1157154
3
160
クラウド関連のインシデントケースを収集して見えてきたもの
lhazy
9
1.8k
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
780
困難を「一般解」で解く
fujiwara3
7
1.5k
急成長する企業で作った、エンジニアが輝ける制度/ 20250227 Rinto Ikenoue
shift_evolve
0
180
E2Eテスト自動化入門
devops_vtj
1
100
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
10
520
Music & Morning Musume
bryan
46
6.4k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
13
1k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
11
1.3k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Why Our Code Smells
bkeepers
PRO
336
57k
Being A Developer After 40
akosma
89
590k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
7
650
Writing Fast Ruby
sferik
628
61k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
134
33k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
Transcript
Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,
デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -
背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の
透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
問題設定: 画像分類モデルの判断根拠の視覚的説明生成 どの画素がどれほど画像分類モデル の予測に寄与したかを可視化 - 4 - 画像 予測 入力
判断根拠の視覚的説明 出力
既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise
Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 各層でのRelevanceの総和
== モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 -
7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !
提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat
Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配
- 9 - 採用
Heat Quantization: attributionへの後処理 関係のない領域へのattributionを低減 説明生成手法によって生成した説明 à 最終的な説明 の各要素の値について量子化 - 10
-
実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,
’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細
ours Score-CAM Grad-CAM
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細
Score-CAM Grad-CAM ours
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP
定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -
Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting:
出力値の比率で分配 - 17 - 採用
Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -
Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
Ablation study: Heat Quantizationは 関係のない領域へのattributionを低減 ピンポン玉の周囲の 領域へのattributionを低減 - 19 -
Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 20 -
Appendix èèè - 21 -
エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰
WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
定量的結果 – full CUB dataset - 23 - Methods [%]
Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑
Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか 他の疑問 Skip Connectionが 恒等写像の場合を convolutionの場合と 同等に扱うべきか?
- 25 - 検討 パラメータによる変換を 伴わない恒等写像の場合, 寄与を0とする à Ignore ID
Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -
26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block
においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義
- 28 -
Gallery – Rock Wren - 29 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Savannah Sparrow - 32 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Brandt Cormorant - 33 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – American Crow - 34 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Water Ouzel - 35 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Arabian Camel - 36 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Bee - 37 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Bustard - 38 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Ram - 39 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Wombat - 40 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM