Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Attention is not Explanation
Search
Yumeto Inaoka
March 19, 2019
Research
0
490
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
180
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
350
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Research
See All in Research
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.8k
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
190
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
260
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
280
多言語カスタマーインタビューの“壁”を越える~PMと生成AIの共創~ 株式会社ジグザグ 松野 亘
watarumatsuno
0
130
Submeter-level land cover mapping of Japan
satai
3
410
Time to Cash: The Full Stack Breakdown of Modern ATM Attacks
ratatata
0
160
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
160
最適化と機械学習による問題解決
mickey_kubo
0
180
EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observation and Wikipedia
satai
3
250
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
120
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
610
Featured
See All Featured
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Building an army of robots
kneath
306
46k
Code Review Best Practice
trishagee
72
19k
Why Our Code Smells
bkeepers
PRO
339
57k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
How to train your dragon (web standard)
notwaldorf
96
6.3k
Statistics for Hackers
jakevdp
799
220k
RailsConf 2023
tenderlove
30
1.2k
Documentation Writing (for coders)
carmenintech
75
5k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14