Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NAACL読み会 Attention is not Explanation
Search
Reo
August 01, 2019
Research
0
100
NAACL読み会 Attention is not Explanation
2019年8月1日 小町研究室 NAACL読み会
Reo
August 01, 2019
Tweet
Share
More Decks by Reo
See All by Reo
論文紹介 Taking Notes on the Fly Helps Language Pre-Trainig
reo11
0
40
論文紹介 Reformer: The Efficient Transformer
reo11
0
240
EMNLP論文紹介 The Myth of Double-Blind Review Revisited: ACL vs. EMNLP
reo11
0
150
論文読み会 How Large Are Lions? Inducing Distributions over Quantitative Attributes
reo11
1
240
ACL読み会 Give Me More Feedback II: Annotating Thesis Strength and Related Attributes in Student Essays
reo11
0
170
Other Decks in Research
See All in Research
Submeter-level land cover mapping of Japan
satai
3
290
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
kurita
0
170
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
940
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
510
カスタマーサクセスの視点からAWS Summitの展示を考える~製品開発で活用できる勘所~
masakiokuda
2
190
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
160
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
790
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
860
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
16
9.9k
20250725-bet-ai-day
cipepser
2
420
スキマバイトサービスにおける現場起点でのデザインアプローチ
yoshioshingyouji
0
220
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
4
230
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
It's Worth the Effort
3n
187
28k
Become a Pro
speakerdeck
PRO
29
5.5k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Making Projects Easy
brettharned
117
6.4k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Side Projects
sachag
455
43k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
840
Transcript
Attention is not Explanation Sarthak Jain, Byron C. Wallace Northeastern
University NAACLಡΈձ 2019/8/1 ฏඌྱԝ
概要 • Attentionは様々なNLPタスクで利⽤される • その重みが「出⼒に対する重要性」として扱われる Øしかし、重みと出⼒の関係は明らかではない • 標準的なAttentionは意味のある説明を提供していない Øよって、それらが説明的であると扱われるべきではない
検証⽅法 1. Attentionによる重みと素性重要度の相関 Ø 例えば勾配に基づく重要度と相関があるはず 2. 重みを別の設定にした場合の予測結果への影響 Ø 事実に反した設定にすれば予測結果は悪くなるはず •
RNNエンコーダを使った以下の3つのタスクで実験 • テキスト分類 • 質問応答(QA) • ⾃然⾔語推論(NLI)
データセット 上からテキスト分類、質問応答、⾃然⾔語推論のデータセット
相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度
• Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
Kendall順位相関係数
Kendall順位相関係数の分布 • 各データの相関係数の分布 • SNLI以外 ü橙⾊がpositive ü灰(紫)⾊がnegative • SNLI ü灰(紫)⾊が⽭盾
ü橙⾊が含意 ü緑が中⽴を表す üBiLSTMでは、平均0.5以下 üAverageでも、0.6~0.8程度
Attentionの重みを変更 • 2つの⽅法でAttentionを変更する • Attention Permutation • Attentionの重みのシャッフルを⾏う • 出⼒の差の中央値を取る
• Adversarial Attention • 出⼒を変えずにAttentionを変化させる
Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •
出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため
Attentionの分布を変える • 出⼒をあまり変化させずに、Attentionの分布を変更可能
Attentionの分布を変える • Attentionの重みが⼤きいものでも変えられるものが結構ある
まとめ üAttentionの重みと重要度の相関は弱い üAttentionの重みを変更しても結果が変わらないものもある üヒートマップによる解釈性にあまり意味はない