Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NAACL読み会 Attention is not Explanation

58dd94a2fd4500043ad051cae2ceb2af?s=47 Reo
August 01, 2019

NAACL読み会 Attention is not Explanation

2019年8月1日 小町研究室 NAACL読み会

58dd94a2fd4500043ad051cae2ceb2af?s=128

Reo

August 01, 2019
Tweet

Transcript

  1. Attention is not Explanation Sarthak Jain, Byron C. Wallace Northeastern

    University NAACLಡΈձ 2019/8/1 ฏඌྱԝ
  2. 概要 • Attentionは様々なNLPタスクで利⽤される • その重みが「出⼒に対する重要性」として扱われる Øしかし、重みと出⼒の関係は明らかではない • 標準的なAttentionは意味のある説明を提供していない Øよって、それらが説明的であると扱われるべきではない

  3. 検証⽅法 1. Attentionによる重みと素性重要度の相関 Ø 例えば勾配に基づく重要度と相関があるはず 2. 重みを別の設定にした場合の予測結果への影響 Ø 事実に反した設定にすれば予測結果は悪くなるはず •

    RNNエンコーダを使った以下の3つのタスクで実験 • テキスト分類 • 質問応答(QA) • ⾃然⾔語推論(NLI)
  4. データセット 上からテキスト分類、質問応答、⾃然⾔語推論のデータセット

  5. 相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度

    • Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
  6. Kendall順位相関係数

  7. Kendall順位相関係数の分布 • 各データの相関係数の分布 • SNLI以外 ü橙⾊がpositive ü灰(紫)⾊がnegative • SNLI ü灰(紫)⾊が⽭盾

    ü橙⾊が含意 ü緑が中⽴を表す üBiLSTMでは、平均0.5以下 üAverageでも、0.6~0.8程度
  8. Attentionの重みを変更 • 2つの⽅法でAttentionを変更する • Attention Permutation • Attentionの重みのシャッフルを⾏う • 出⼒の差の中央値を取る

    • Adversarial Attention • 出⼒を変えずにAttentionを変化させる
  9. Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 •

    出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため
  10. Attentionの分布を変える • 出⼒をあまり変化させずに、Attentionの分布を変更可能

  11. Attentionの分布を変える • Attentionの重みが⼤きいものでも変えられるものが結構ある

  12. まとめ üAttentionの重みと重要度の相関は弱い üAttentionの重みを変更しても結果が変わらないものもある üヒートマップによる解釈性にあまり意味はない