NAACL読み会 Attention is not Explanation

2019年8月1日 小町研究室 NAACL読み会

Transcript

1. Attention is not Explanation Sarthak Jain, Byron C. Wallace Northeastern University NAACLಡΈձ 2019/8/1 ฏඌྱԝ
2. 概要 • Attentionは様々なNLPタスクで利⽤される • その重みが「出⼒に対する重要性」として扱われる Øしかし、重みと出⼒の関係は明らかではない • 標準的なAttentionは意味のある説明を提供していない Øよって、それらが説明的であると扱われるべきではない
3. 検証⽅法 1. Attentionによる重みと素性重要度の相関 Ø 例えば勾配に基づく重要度と相関があるはず 2. 重みを別の設定にした場合の予測結果への影響 Ø 事実に反した設定にすれば予測結果は悪くなるはず • RNNエンコーダを使った以下の3つのタスクで実験 • テキスト分類 • 質問応答(QA) • ⾃然⾔語推論(NLI)
4. データセット 上からテキスト分類、質問応答、⾃然⾔語推論のデータセット
5. 相関の検証 • 相関はKendall順位相関係数を使⽤ Ø 2つのリストの順序の⼀致度を測定 • Gradient(3, 4⾏⽬) Ø 統計的に求めた重要度 • Leave One Out(5, 6⾏⽬) Ø 系列からt番⽬を抜き出した時の精度の下り⽅からtの重要度を決める 1 2 3 4 5 6
6. Kendall順位相関係数
7. Kendall順位相関係数の分布 • 各データの相関係数の分布 • SNLI以外 ü橙⾊がpositive ü灰(紫)⾊がnegative • SNLI ü灰(紫)⾊が⽭盾 ü橙⾊が含意 ü緑が中⽴を表す üBiLSTMでは、平均0.5以下 üAverageでも、0.6~0.8程度
8. Attentionの重みを変更 • 2つの⽅法でAttentionを変更する • Attention Permutation • Attentionの重みのシャッフルを⾏う • 出⼒の差の中央値を取る • Adversarial Attention • 出⼒を変えずにAttentionを変化させる
9. Attentionの重みをシャッフル • 1に近い⽅が影響が⼤きい • 橙⾊の部分 • 出⼒への影響が⼩さい • ⻘⾊の部分 • 出⼒への影響が⼤きい • QAのタスク • Diabetes • ⾼確率で糖尿病を⽰すトークン があるため
10. Attentionの分布を変える • 出⼒をあまり変化させずに、Attentionの分布を変更可能
11. Attentionの分布を変える • Attentionの重みが⼤きいものでも変えられるものが結構ある
12. まとめ üAttentionの重みと重要度の相関は弱い üAttentionの重みを変更しても結果が変わらないものもある üヒートマップによる解釈性にあまり意味はない