Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NAACL読み会 Attention is not Explanation
Search
Reo
August 01, 2019
Research
0
87
NAACL読み会 Attention is not Explanation
2019年8月1日 小町研究室 NAACL読み会
Reo
August 01, 2019
Tweet
Share
More Decks by Reo
See All by Reo
論文紹介 Taking Notes on the Fly Helps Language Pre-Trainig
reo11
0
38
論文紹介 Reformer: The Efficient Transformer
reo11
0
240
EMNLP論文紹介 The Myth of Double-Blind Review Revisited: ACL vs. EMNLP
reo11
0
150
論文読み会 How Large Are Lions? Inducing Distributions over Quantitative Attributes
reo11
1
230
ACL読み会 Give Me More Feedback II: Annotating Thesis Strength and Related Attributes in Student Essays
reo11
0
160
Other Decks in Research
See All in Research
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
230
最適化と機械学習による問題解決
mickey_kubo
0
140
数理最適化と機械学習の融合
mickey_kubo
15
8.8k
Combinatorial Search with Generators
kei18
0
310
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
170
公立高校入試等に対する受入保留アルゴリズム(DA)導入の提言
shunyanoda
0
5.7k
CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations
satai
3
210
Principled AI ~深層学習時代における課題解決の方法論~
taniai
3
1.2k
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
150
電通総研の生成AI・エージェントの取り組みエンジニアリング業務向けAI活用事例紹介
isidaitc
1
230
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
240
作業記憶の発達的特性が言語獲得の臨界期を形成する(NLP2025)
chemical_tree
2
610
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
77
9.4k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Side Projects
sachag
455
42k
Unsuck your backbone
ammeep
671
58k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Statistics for Hackers
jakevdp
799
220k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Writing Fast Ruby
sferik
628
61k
A Tale of Four Properties
chriscoyier
160
23k
Transcript
Attention is not Explanation Sarthak Jain, Byron C. Wallace Northeastern
University NAACLಡΈձ 2019/8/1 ฏඌྱԝ
概要 • Attentionは様々なNLPタスクで利⽤される • その重みが「出⼒に対する重要性」として扱われる Øしかし、重みと出⼒の関係は明らかではない • 標準的なAttentionは意味のある説明を提供していない Øよって、それらが説明的であると扱われるべきではない
検証⽅法 1. Attentionによる重みと素性重要度の相関 Ø 例えば勾配に基づく重要度と相関があるはず 2. 重みを別の設定にした場合の予測結果への影響 Ø 事実に反した設定にすれば予測結果は悪くなるはず •
RNNエンコーダを使った以下の3つのタスクで実験 • テキスト分類 • 質問応答(QA) • ⾃然⾔語推論(NLI)
データセット 上からテキスト分類、質問応答、⾃然⾔語推論のデータセット
相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度
• Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
Kendall順位相関係数
Kendall順位相関係数の分布 • 各データの相関係数の分布 • SNLI以外 ü橙⾊がpositive ü灰(紫)⾊がnegative • SNLI ü灰(紫)⾊が⽭盾
ü橙⾊が含意 ü緑が中⽴を表す üBiLSTMでは、平均0.5以下 üAverageでも、0.6~0.8程度
Attentionの重みを変更 • 2つの⽅法でAttentionを変更する • Attention Permutation • Attentionの重みのシャッフルを⾏う • 出⼒の差の中央値を取る
• Adversarial Attention • 出⼒を変えずにAttentionを変化させる
Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •
出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため
Attentionの分布を変える • 出⼒をあまり変化させずに、Attentionの分布を変更可能
Attentionの分布を変える • Attentionの重みが⼤きいものでも変えられるものが結構ある
まとめ üAttentionの重みと重要度の相関は弱い üAttentionの重みを変更しても結果が変わらないものもある üヒートマップによる解釈性にあまり意味はない