Attention is not Explanation文献紹介 2019/03/19長岡技術科学大学 自然言語処理研究室稲岡 夢人
View Slide
Literature2Title Attention is not ExplanationAuthor Sarthak Jain, Byron C. WallaceConference NAACL-HLT 2019Paper https://arxiv.org/abs/1902.10186
Abstract Attentionは入力単位で重みを示す その分布が重要性を示すものとして扱われることがある→ 重みと出力の間の関係は明らかにされていない 標準的なAttentionは意味のある説明を提供しておらず、そのように扱われるべきでないことを示す3
調査方法1. 重みが重要度と相関しているか2. 事実と反する重み設定が予測を変化させるか4
Tasks Binary Text Classification Question Answering (QA) Natural Language Inference (NLI)5
Datasets6
Results7
Definitions 出力結果の比較に使用する距離 Attentionの比較に使用する距離8
Results Attentionの変化を大きくしても結果が変化しない→ 出力への影響が小さい9
Results DiabetesはPositiveのクラスにおいては影響が大きい→ 高精度で糖尿病を示すトークンが存在するため10
Adversarial Attention 出力を大きく変化させるようにAttentionを変化させる Attentionが少し変化しただけで出力が大きく変化するか← Attentionの挙動を確認12
Results 少しのAttentionの変化で出力が大きく変化している13
Conclusions 重要度とAttentionの重みは相関が弱い 事実に反する重みは必ずしも出力を変化させない Seq2seqについては今後の課題とする14