Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NAACL読み会 Attention is not Explanation

Reo
August 01, 2019

NAACL読み会 Attention is not Explanation

2019年8月1日 小町研究室 NAACL読み会

Reo

August 01, 2019

Transcript

12 slides
  1. 相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度

    • Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
  2. Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •

    出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため

More Decks by Reo

Other Decks in Research