Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Attention is not Explanation
Search
Yumeto Inaoka
March 19, 2019
Research
0
490
文献紹介: Attention is not Explanation
Yumeto Inaoka
March 19, 2019
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
170
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
350
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Research
See All in Research
Panopticon: Advancing Any-Sensor Foundation Models for Earth Observation
satai
3
210
大学見本市2025 JSTさきがけ事業セミナー「顔の見えないセンシング技術:多様なセンサにもとづく個人情報に配慮した人物状態推定」
miso2024
0
160
超高速データサイエンス
matsui_528
1
150
SSII2025 [SS1] レンズレスカメラ
ssii
PRO
2
1.1k
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
730
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
630
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
260
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
590
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
360
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
880
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
190
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
300
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
96
6.3k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Code Reviewing Like a Champion
maltzj
525
40k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Making Projects Easy
brettharned
119
6.4k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
45
2.5k
A better future with KSS
kneath
239
17k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Transcript
Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature 2 Title Attention is not Explanation Author Sarthak Jain,
Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、 そのように扱われるべきでないことを示す
3
調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4
Tasks Binary Text Classification Question Answering (QA)
Natural Language Inference (NLI) 5
Datasets 6
Results 7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離 8
Results Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9
Results DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12
Results 少しのAttentionの変化で出力が大きく変化している 13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする 14