$30 off During Our Annual Pro Sale. View Details »

文献紹介: Attention is not Explanation

文献紹介: Attention is not Explanation

Yumeto Inaoka

March 19, 2019
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Attention is not Explanation
    文献紹介 2019/03/19
    長岡技術科学大学 自然言語処理研究室
    稲岡 夢人

    View Slide

  2. Literature
    2
    Title Attention is not Explanation
    Author Sarthak Jain, Byron C. Wallace
    Conference NAACL-HLT 2019
    Paper https://arxiv.org/abs/1902.10186

    View Slide

  3. Abstract
     Attentionは入力単位で重みを示す
     その分布が重要性を示すものとして扱われることがある
    → 重みと出力の間の関係は明らかにされていない
     標準的なAttentionは意味のある説明を提供しておらず、
    そのように扱われるべきでないことを示す
    3

    View Slide

  4. 調査方法
    1. 重みが重要度と相関しているか
    2. 事実と反する重み設定が予測を変化させるか
    4

    View Slide

  5. Tasks
     Binary Text Classification
     Question Answering (QA)
     Natural Language Inference (NLI)
    5

    View Slide

  6. Datasets
    6

    View Slide

  7. Results
    7

    View Slide

  8. Definitions
     出力結果の比較に使用する距離
     Attentionの比較に使用する距離
    8

    View Slide

  9. Results
     Attentionの変化を大きくしても結果が変化しない
    → 出力への影響が小さい
    9

    View Slide

  10. Results
     DiabetesはPositiveのクラスにおいては影響が大きい
    → 高精度で糖尿病を示すトークンが存在するため
    10

    View Slide

  11. Adversarial Attention
     出力を大きく変化させるようにAttentionを変化させる
     Attentionが少し変化しただけで出力が大きく変化するか
    ← Attentionの挙動を確認
    12

    View Slide

  12. Results
     少しのAttentionの変化で出力が大きく変化している
    13

    View Slide

  13. Conclusions
     重要度とAttentionの重みは相関が弱い
     事実に反する重みは必ずしも出力を変化させない
     Seq2seqについては今後の課題とする
    14

    View Slide