Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NAACL読み会 Attention is not Explanation

Reo
August 01, 2019

NAACL読み会 Attention is not Explanation

2019年8月1日 小町研究室 NAACL読み会

Reo

August 01, 2019
Tweet

More Decks by Reo

Other Decks in Research

Transcript

  1. 相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度

    • Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
  2. Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •

    出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため