Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Technology
0
110
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[JSAI24] A Hallucination-Resistant Automatic Evaluation Metric for Image Captioning
keio_smilab
PRO
0
110
Multimodal LLMs and foundation models in robotics
keio_smilab
PRO
3
1k
[JSAI24] Attention Lattice Adapter: Visual Explanation for Vision-Language Foundation Models
keio_smilab
PRO
0
200
[JSAI24] ECoG-Based Motor Imagery Classification Using Retentive Network
keio_smilab
PRO
0
120
[JSAI24] Submodular Observation Pose Optimization for Mobile Robots
keio_smilab
PRO
0
160
[JSAI24] DM2RM: Dual-Mode Multimodal Ranking for Target Objects and Receptacles Based on Open-Vocabulary Instructions
keio_smilab
PRO
1
110
[JSAI24]Task Success Prediction for Object Manipulation Based on Scene, Aligned, and Narrative Representations
keio_smilab
PRO
0
240
[JSAI24] Large-Scale Indoor Search Engine with Multimodal Foundation Models and Relaxing Contrastive Loss
keio_smilab
PRO
1
200
[JSAI24]Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Multimodal Foundation Models
keio_smilab
PRO
0
220
Other Decks in Technology
See All in Technology
Ruby on Browser
tmtms
1
830
AWS人材を育てる3つのステップ / Three Steps to Developing AWS Talent
cmhiranofumio
0
210
120リポジトリを1つのMonorepoに統合した理由
disc99
1
300
20240619 PLATEAU LT 06 Babylon.jsとPLATEAU
limes2018
0
380
鹿野さんに聞く! 2024年最新CSSトレンドと実践テクニック
tonkotsuboy_com
9
3.6k
Claude3 on Bedrock with Converse API + Tool use でチャットアプリを作成してみた/Building-a-Chat-App-Using-Claude3-on-Bedrock-with-the-Converse-API+Tool-Use
ren8k
0
480
組織全体で品質を担保するための品管メンバーとしてのさまざまな役割
tarappo
3
820
見えないユーザの声はログに埋もれている! ~ログから具体的なユーザの体験を数値化した事例紹介~
navitimejapan
PRO
3
830
MySQLのリリースモデルの変更点と最新アップデート / MySQLNewReleaseModel
yoshiakiyamasaki
2
260
dbt Semantic Layer ( MetricFlow ) の理解を深める
tanuuuuuuu
2
840
開発組織全員が自ら学んで成長していく組織づくり
nextbeatdev
6
3.5k
スクラムゾンビになっちゃたので、古のフレームワークを導入した話 / Embracing Ancient Frameworks
kaonavi
0
180
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
323
21k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Automating Front-end Workflow
addyosmani
1360
200k
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
353
28k
Git: the NoSQL Database
bkeepers
PRO
423
64k
Designing for humans not robots
tammielis
247
25k
In The Pink: A Labor of Love
frogandcode
138
21k
How to Ace a Technical Interview
jacobian
273
22k
Practical Orchestrator
shlominoach
184
9.9k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
The Pragmatic Product Professional
lauravandoore
28
6k
Transcript
Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,
デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -
背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の
透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
問題設定: 画像分類モデルの判断根拠の視覚的説明生成 どの画素がどれほど画像分類モデル の予測に寄与したかを可視化 - 4 - 画像 予測 入力
判断根拠の視覚的説明 出力
既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise
Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 各層でのRelevanceの総和
== モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 -
7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !
提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat
Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配
- 9 - 採用
Heat Quantization: attributionへの後処理 関係のない領域へのattributionを低減 説明生成手法によって生成した説明 à 最終的な説明 の各要素の値について量子化 - 10
-
実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,
’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細
ours Score-CAM Grad-CAM
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細
Score-CAM Grad-CAM ours
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP
定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -
Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting:
出力値の比率で分配 - 17 - 採用
Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -
Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
Ablation study: Heat Quantizationは 関係のない領域へのattributionを低減 ピンポン玉の周囲の 領域へのattributionを低減 - 19 -
Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 20 -
Appendix èèè - 21 -
エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰
WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
定量的結果 – full CUB dataset - 23 - Methods [%]
Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑
Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか 他の疑問 Skip Connectionが 恒等写像の場合を convolutionの場合と 同等に扱うべきか?
- 25 - 検討 パラメータによる変換を 伴わない恒等写像の場合, 寄与を0とする à Ignore ID
Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -
26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block
においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義
- 28 -
Gallery – Rock Wren - 29 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Savannah Sparrow - 32 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Brandt Cormorant - 33 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – American Crow - 34 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Water Ouzel - 35 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Arabian Camel - 36 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Bee - 37 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Bustard - 38 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Ram - 39 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Wombat - 40 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM