文献紹介: Attention is not Explanation

Transcript

1. Attention is not Explanation
   文献紹介 2019/03/19
   長岡技術科学大学 自然言語処理研究室
   稲岡 夢人
   

   View Slide

2. Literature
   2
   Title Attention is not Explanation
   Author Sarthak Jain, Byron C. Wallace
   Conference NAACL-HLT 2019
   Paper https://arxiv.org/abs/1902.10186
   

   View Slide

3. Abstract
    Attentionは入力単位で重みを示す
    その分布が重要性を示すものとして扱われることがある
   → 重みと出力の間の関係は明らかにされていない
    標準的なAttentionは意味のある説明を提供しておらず、
   そのように扱われるべきでないことを示す
   3
   

   View Slide

4. 調査方法
   1. 重みが重要度と相関しているか
   2. 事実と反する重み設定が予測を変化させるか
   4
   

   View Slide

5. Tasks
    Binary Text Classification
    Question Answering (QA)
    Natural Language Inference (NLI)
   5
   

   View Slide

6. Datasets
   6
   

   View Slide

7. Results
   7
   

   View Slide

8. Definitions
    出力結果の比較に使用する距離
    Attentionの比較に使用する距離
   8
   

   View Slide

9. Results
    Attentionの変化を大きくしても結果が変化しない
   → 出力への影響が小さい
   9
   

   View Slide

10. Results
     DiabetesはPositiveのクラスにおいては影響が大きい
    → 高精度で糖尿病を示すトークンが存在するため
    10
    

    View Slide

11. Adversarial Attention
     出力を大きく変化させるようにAttentionを変化させる
     Attentionが少し変化しただけで出力が大きく変化するか
    ← Attentionの挙動を確認
    12
    

    View Slide

12. Results
     少しのAttentionの変化で出力が大きく変化している
    13
    

    View Slide

13. Conclusions
     重要度とAttentionの重みは相関が弱い
     事実に反する重みは必ずしも出力を変化させない
     Seq2seqについては今後の課題とする
    14
    

    View Slide