Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NAACL読み会 Attention is not Explanation
Search
Reo
August 01, 2019
Research
0
64
NAACL読み会 Attention is not Explanation
2019年8月1日 小町研究室 NAACL読み会
Reo
August 01, 2019
Tweet
Share
More Decks by Reo
See All by Reo
論文紹介 Taking Notes on the Fly Helps Language Pre-Trainig
reo11
0
32
論文紹介 Reformer: The Efficient Transformer
reo11
0
180
EMNLP論文紹介 The Myth of Double-Blind Review Revisited: ACL vs. EMNLP
reo11
0
100
論文読み会 How Large Are Lions? Inducing Distributions over Quantitative Attributes
reo11
1
170
ACL読み会 Give Me More Feedback II: Annotating Thesis Strength and Related Attributes in Student Essays
reo11
0
130
Other Decks in Research
See All in Research
時系列解析と疫学
kingqwert
2
860
IRではデータ収集がどのように実施・認識されてきたのか
gmoriki
0
340
Image generation with Shortest Path Diffusion
dasayan05
0
180
脳卒中患者・家族からみた循環器病対策推進基本計画の進捗に関する調査
japanstrokeassociation
0
510
Prompt Tuning から Fine Tuning への移行時期推定
icoxfog417
17
6k
Deep State Space Models 101 / Mamba
kurita
9
3.1k
My Journey as a UX Researcher
aranciap
0
1.1k
フルリモートワークでのスクラムのスケール
kmorita1111
2
950
Combating Misinformation in the age of LLMs
teacherpeterpan
0
110
LiDARセキュリティ最前線
kentaroy47
0
230
床面圧力センサ開発における感圧導電シート分離方式の検討 / WISS2023
yumulab
0
250
SANER 2019 Most Influential Paper Talk
tsantalis
0
110
Featured
See All Featured
Building Applications with DynamoDB
mza
88
5.6k
jQuery: Nuts, Bolts and Bling
dougneiner
57
7.1k
Happy Clients
brianwarren
91
6.3k
We Have a Design System, Now What?
morganepeng
42
6.7k
Scaling GitHub
holman
456
140k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
5
1.4k
Fantastic passwords and where to find them - at NoRuKo
philnash
35
2.4k
Visualization
eitanlees
135
14k
Designing on Purpose - Digital PM Summit 2013
jponch
109
6.4k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Typedesign – Prime Four
hannesfritz
36
2k
Transcript
Attention is not Explanation Sarthak Jain, Byron C. Wallace Northeastern
University NAACLಡΈձ 2019/8/1 ฏඌྱԝ
概要 • Attentionは様々なNLPタスクで利⽤される • その重みが「出⼒に対する重要性」として扱われる Øしかし、重みと出⼒の関係は明らかではない • 標準的なAttentionは意味のある説明を提供していない Øよって、それらが説明的であると扱われるべきではない
検証⽅法 1. Attentionによる重みと素性重要度の相関 Ø 例えば勾配に基づく重要度と相関があるはず 2. 重みを別の設定にした場合の予測結果への影響 Ø 事実に反した設定にすれば予測結果は悪くなるはず •
RNNエンコーダを使った以下の3つのタスクで実験 • テキスト分類 • 質問応答(QA) • ⾃然⾔語推論(NLI)
データセット 上からテキスト分類、質問応答、⾃然⾔語推論のデータセット
相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度
• Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
Kendall順位相関係数
Kendall順位相関係数の分布 • 各データの相関係数の分布 • SNLI以外 ü橙⾊がpositive ü灰(紫)⾊がnegative • SNLI ü灰(紫)⾊が⽭盾
ü橙⾊が含意 ü緑が中⽴を表す üBiLSTMでは、平均0.5以下 üAverageでも、0.6~0.8程度
Attentionの重みを変更 • 2つの⽅法でAttentionを変更する • Attention Permutation • Attentionの重みのシャッフルを⾏う • 出⼒の差の中央値を取る
• Adversarial Attention • 出⼒を変えずにAttentionを変化させる
Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •
出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため
Attentionの分布を変える • 出⼒をあまり変化させずに、Attentionの分布を変更可能
Attentionの分布を変える • Attentionの重みが⼤きいものでも変えられるものが結構ある
まとめ üAttentionの重みと重要度の相関は弱い üAttentionの重みを変更しても結果が変わらないものもある üヒートマップによる解釈性にあまり意味はない