Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Attention is not Explanation
Search
Yumeto Inaoka
March 19, 2019
Research
0
460
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
150
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
190
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
130
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
140
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
120
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
230
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
300
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
200
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
200
Other Decks in Research
See All in Research
Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)
onely7
24
5.9k
Evaluating Tool-Augmented Agents in Remote Sensing Platforms
satai
2
150
LLM 시대의 Compliance: Safety & Security
huffon
0
590
論文紹介: COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon (SIGMOD 2024)
ynakano
1
380
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1.3k
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
2
120
CUNY DHI_Lightning Talks_2024
digitalfellow
0
440
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
160
Bluesky Game Dev
trezy
0
140
コミュニティドライブプロジェクト
smartfukushilab1
0
180
博士学位論文予備審査 / Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining
yuukit
1
1.7k
複数データセットを用いた動作認識
yuyay
0
110
Featured
See All Featured
RailsConf 2023
tenderlove
29
1k
How to train your dragon (web standard)
notwaldorf
91
5.8k
Scaling GitHub
holman
459
140k
GitHub's CSS Performance
jonrohan
1030
460k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
133
33k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Designing for humans not robots
tammielis
250
25k
How GitHub (no longer) Works
holman
314
140k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
240
Unsuck your backbone
ammeep
669
57k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14