文献紹介: Attention is not Explanation

Slide 1

Slide 1 text

Attention is not Explanation 文献紹介 2019/03/19 長岡技術科学大学自然言語処理研究室稲岡夢人

Slide 2

Slide 2 text

Literature 2 Title Attention is not Explanation Author Sarthak Jain, Byron C. Wallace Conference NAACL-HLT 2019 Paper https://arxiv.org/abs/1902.10186

Slide 3

Slide 3 text

Abstract  Attentionは入力単位で重みを示す  その分布が重要性を示すものとして扱われることがある → 重みと出力の間の関係は明らかにされていない  標準的なAttentionは意味のある説明を提供しておらず、そのように扱われるべきでないことを示す 3

Slide 4

Slide 4 text

調査方法 1. 重みが重要度と相関しているか 2. 事実と反する重み設定が予測を変化させるか 4

Slide 5

Slide 5 text

Tasks  Binary Text Classification  Question Answering (QA)  Natural Language Inference (NLI) 5

Slide 6

Slide 6 text

Datasets 6

Slide 7

Slide 7 text

Results 7

Slide 8

Slide 8 text

Definitions  出力結果の比較に使用する距離  Attentionの比較に使用する距離 8

Slide 9

Slide 9 text

Results  Attentionの変化を大きくしても結果が変化しない → 出力への影響が小さい 9

Slide 10

Slide 10 text

Results  DiabetesはPositiveのクラスにおいては影響が大きい → 高精度で糖尿病を示すトークンが存在するため 10

Slide 11

Slide 11 text

Adversarial Attention  出力を大きく変化させるようにAttentionを変化させる  Attentionが少し変化しただけで出力が大きく変化するか ← Attentionの挙動を確認 12

Slide 12

Slide 12 text

Results  少しのAttentionの変化で出力が大きく変化している 13

Slide 13

Slide 13 text

Conclusions  重要度とAttentionの重みは相関が弱い  事実に反する重みは必ずしも出力を変化させない  Seq2seqについては今後の課題とする 14