Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Research
0
340
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
71
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
96
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
75
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
78
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
51
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
150
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
180
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
120
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
130
Other Decks in Research
See All in Research
Furm: 家具移動アプリケーションの提案 / IOTS2022-tsujinaga
yumulab
0
260
Unmasking WindTape
patrickwardle
0
790
Federated Learning Tutorial (IBIS 2022)
osx
2
2.3k
知られざるAmazonとAWSのScientist
icoxfog417
0
1.5k
理科の固有性に関する基礎的研究―「自然科学の性質」と「歴史学の性質」の比較を中心として―/Nature of School Science(Rika): A Comparison of "Nature of Science" and "Nature of History"
unzaih
0
120
フィッシング対策セミナー2022講演資料 / antiphishing-seminar2022-hasegawa
ayakohasegawa
0
1k
[輪講資料] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space
hpprc
0
880
チュートリアル: ユーザビリティはどう測る? ~評価手法とその利用~ / How do we measure usability? -Evaluation Methods and Their Use
akirakanaoka
0
420
ICH E9 (R1) 臨床試験のための統計的原則〜中間事象に対するストラテジー
shuntaros
1
210
世界観を考察するのが好き?Sound Horizonはいいぞ / Introduction to Sound Horizon
hyuyukun
0
790
Dangerous ‘Deep Decarbonization’ (Krebs PowerPoint to Cooler Heads Coalition)
gkehr1
0
750
FADEC: FPGA-based Acceleration of Video Depth Estimation by HW/SW Co-design (FPT 2022)
hashi0203
0
180
Featured
See All Featured
Infographics Made Easy
chrislema
235
17k
Creatively Recalculating Your Daily Design Routine
revolveconf
207
11k
Raft: Consensus for Rubyists
vanstee
130
5.7k
Done Done
chrislema
178
15k
Adopting Sorbet at Scale
ufuk
65
7.8k
Scaling GitHub
holman
453
140k
The Cult of Friendly URLs
andyhume
69
5.1k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
32
6.8k
5 minutes of I Can Smell Your CMS
philhawksworth
198
18k
How to train your dragon (web standard)
notwaldorf
66
4.3k
The Invisible Customer
myddelton
113
12k
Designing on Purpose - Digital PM Summit 2013
jponch
108
5.9k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14