Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Attention is not Explanation
Search
Yumeto Inaoka
March 19, 2019
Research
0
400
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
110
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
150
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
110
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
110
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
78
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
200
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
250
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
170
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
160
Other Decks in Research
See All in Research
Evolutionary Optimization ofModel Merging Recipes (2024/04/17, NLPコロキウム)
iwiwi
5
2k
生成AIを用いたText to SQLの最前線
masatoto
1
2k
ゼロからわかるリザバーコンピューティング
kurotaky
1
280
20240127_熊本から今いちど真面目に都市交通~めざせ「車1割削減、渋滞半減、公共交通2倍」~ 全国路面電車サミット2024宇都宮
trafficbrain
1
650
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
360
Alternative Photographic Processes Reimagined: The Role of Digital Technology in Revitalizing Classic Printing Techniques【SIGGRAPH Asia 2023】
toremolo72
0
430
CSC590 Lecture 01
javiergs
PRO
0
130
Active Retrieval Augmented Generation
kiyohiro8
3
440
VAR モデルによる OSS プロジェクト同士が生存性に与える 影響の分析
noppoman
0
130
Discovering Universal Geometry in Embeddings with ICA
momoseoyama
1
340
People Driven Transformation / 人が起点の、社会の変え方
dmattsun
0
150
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
520
Featured
See All Featured
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
243
20k
Pencils Down: Stop Designing & Start Developing
hursman
117
11k
Infographics Made Easy
chrislema
237
18k
Become a Pro
speakerdeck
PRO
10
4.5k
Why You Should Never Use an ORM
jnunemaker
PRO
50
8.6k
A Modern Web Designer's Workflow
chriscoyier
688
190k
Debugging Ruby Performance
tmm1
70
11k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Teambox: Starting and Learning
jrom
128
8.4k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2.1k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
226
16k
The Cost Of JavaScript in 2023
addyosmani
14
3.8k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14