Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Attention is not Explanation
Search
Yumeto Inaoka
March 19, 2019
Research
0
460
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
150
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
200
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
130
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
140
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
120
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
240
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
300
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
200
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
200
Other Decks in Research
See All in Research
LLM 시대의 Compliance: Safety & Security
huffon
0
600
Segment Any Change
satai
3
210
論文紹介: COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon (SIGMOD 2024)
ynakano
1
390
Weekly AI Agents News! 10月号 論文のアーカイブ
masatoto
1
510
AWS 音声基盤モデル トーク解析AI MiiTelの音声処理について
ken57
0
140
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
340
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
5
1.1k
JSAI NeurIPS 2024 参加報告会(AI アライメント)
akifumi_wachi
5
840
請求書仕分け自動化での物体検知モデル活用 / Utilization of Object Detection Models in Automated Invoice Sorting
sansan_randd
0
110
Leveraging LLMs for Unsupervised Dense Retriever Ranking (SIGIR 2024)
kampersanda
2
310
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
460
o1 pro mode の調査レポート
smorce
0
120
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
22
1.4k
Statistics for Hackers
jakevdp
797
220k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Mobile First: as difficult as doing things right
swwweet
223
9.4k
A Tale of Four Properties
chriscoyier
158
23k
A designer walks into a library…
pauljervisheath
205
24k
Testing 201, or: Great Expectations
jmmastey
42
7.2k
GraphQLの誤解/rethinking-graphql
sonatard
68
10k
Large-scale JavaScript Application Architecture
addyosmani
511
110k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14