Editing Factual Knowledge in Language Models (EMNLP 2021)

Transcript

1. Editing Factual Knowledge in Language Models EMNLP 2021 Nicola De Cao, Wilker Aziz, Ivan Titov 第14回最先端NLP勉強会 2022/09/27 読み⼿: 松⽥耕史 (理研/東北⼤) 図表は元論⽂からの引⽤です。 1
2. どんな論⽂︖ • Language Model に内在している Factual Knowledge を編集する • どうやって︖ – パラメータ θ‘ を予測する hyper network g (KnowledgeEditor)を学習する 2
3. 貢献 • Knowledge Editing というタスクを定義、 評価指標も提案 • KnowledgeEditor という⼿法を提案 – パラメータを予測する NN モデル • KnowledgeEditor の有効性を2つのタス クで確認 – Fact Checking – Question Answering • KnowledgeEditor の書き換え具合を分析 3
4. モチベーション • LM as KB – Factual Knowledge が パラメータとして暗 にうめこまれている • しかし、間違っていたり obsolete になっ ていたりすることもあるので修正したい こともある • でも、、、コストのかかる再学習はした くない 4
5. 実現したい3要件 • Generality: – いろんなモデルに使える • 本論⽂では BERT, BART に適⽤ • Reliability: – 余計な副作⽤をうまない、編集したい Fact 以外 に影響を与えない • Consistency: – 同じ Fact を問う質問に対して、⼀貫した答えを 返す – ⾔い換えにたいする強さ 5
7. タスク設定 • モデル f(x, θ) があって、 <x,y,a> ∈ D という 書き換えデータがある – y: model の prediction – a: alternative prediction • モデル f のアーキテクチャをたもったまま、 y ではなく a を予測するような f(x, θ‘)を⾒ つけたい – かつ、ほかの x に対する予測は変えない • x の⾔い換えに対しては a を予測するように したい 7
8. 3要件を踏まえた評価指標 • success rate: ↑ – g がどれくらい y から a に書き換えることがで きたか • retain accuracy: ↑ – その他の(書き換え対象外の)知識をどれくらい残 せたか • equivalence accuracy: ↑ – ⾔い換えに対してロバストに書き換えができたか • performance deterioration: ↓ – 書き換え後のモデルのパフォーマンス低下 8
9. Method: ハイパーネットワーク • 元のパラメータ θ を 新しいパラメータ θ‘ に書き換えるような NN g を考える – パラメータ φ 9 x ͔Β a Λ༧ଌ͢Δ Loss Λ࠷খԽ͢Δ φ θ ͔ΒͰ͖Δ͚ͩ཭Εͳ͍ θ’ Λ ༧ଌ͍ͨ͠ɺͱ͍͏੍໿ Ϛʔδϯ
10. 制約 C について • 素朴には: Lp ノルム: • 提案⼿法: KLダイバージェンス: 10 ύϥϝʔλͷ஋͕ۙ ͚Ε͹ۙ͘ͳΔΑ͏ ੍໿ Ϟσϧͷग़ྗ෼෍͕ ۙ͘ͳΔΑ͏੍໿
11. 中⾝ • θ‘を直接求めるのではなく、θ‘ = θ + Λθ とおいて Λθを求める • <x, y, a> を連結して bi-LSTMに⼊れて得 た h を 5層のFFNN に⼊⼒、その勾配を⽤ いてパラメータ差分を計算 – 勾配のゲーティングされた和を⽤いる 11
12. 実験 • Fact Checking – FEVER データセット [Throne et al. 2018] – BERTを⽤いたの2値分類 • Closed-book QA – zsRE データセット [Levy et al. 2017] • ⼈⼿で作った Question Paraphrase が付いてい るのが採⽤ポイント – BARTを⽤いた seq2seq 12
13. Alternative prediction の⽣成 • Fact Checking: – ラベルを反転させるだけ • Question Answering: – ビームサーチの Top-1 以外の候補を使って作 る • ⾔い換えの⽣成 – 折返し翻訳を⽤いる 13 ݱ࣮ੈքͰਖ਼͍͠஌͔ࣝͲ͏͔͸ؾʹͤͣ࡞͍ͬͯΔ͜ͱʹ஫ҙʂ
14. 実験結果 - Fact Checking 14
15. 実験結果 – Question Answering 15
16. 結局どのモデルが総合的に 良いのか︖ • 各指標にランダムな重みを付けて線形和 にして1000回繰り返し総合点を求める – 重み: Dirichlet 分布からのサンプル • Simplex中の1点 16
17. Logitの動き 17
18. モデルのどの部分を書き換えたか 18 εύʔεͳ Update ͕ߦΘΕ͍ͯΔ
19. まとめ • LMの内部に暗黙的に保存されている factual knowledge を編集するタスクを 提案 • いくつかの評価指標を定義 • KnowledgeEditorというハイパーネット ワークを提案 19