Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Editing Factual Knowledge in Language Models (EMNLP 2021)

Koji Matsuda
September 20, 2022

Editing Factual Knowledge in Language Models (EMNLP 2021)

Koji Matsuda

September 20, 2022
Tweet

More Decks by Koji Matsuda

Other Decks in Research

Transcript

  1. Editing Factual Knowledge
    in Language Models
    EMNLP 2021
    Nicola De Cao, Wilker Aziz, Ivan Titov
    第14回最先端NLP勉強会 2022/09/27
    読み⼿: 松⽥耕史 (理研/東北⼤)
    図表は元論⽂からの引⽤です。
    1

    View Slide

  2. どんな論⽂︖
    • Language Model に内在している
    Factual Knowledge を編集する
    • どうやって︖
    – パラメータ θ‘ を予測する hyper network g
    (KnowledgeEditor)を学習する
    2

    View Slide

  3. 貢献
    • Knowledge Editing というタスクを定義、
    評価指標も提案
    • KnowledgeEditor という⼿法を提案
    – パラメータを予測する NN モデル
    • KnowledgeEditor の有効性を2つのタス
    クで確認
    – Fact Checking
    – Question Answering
    • KnowledgeEditor の書き換え具合を分析
    3

    View Slide

  4. モチベーション
    • LM as KB
    – Factual Knowledge が パラメータとして暗
    にうめこまれている
    • しかし、間違っていたり obsolete になっ
    ていたりすることもあるので修正したい
    こともある
    • でも、、、コストのかかる再学習はした
    くない
    4

    View Slide

  5. 実現したい3要件
    • Generality:
    – いろんなモデルに使える
    • 本論⽂では BERT, BART に適⽤
    • Reliability:
    – 余計な副作⽤をうまない、編集したい Fact 以外
    に影響を与えない
    • Consistency:
    – 同じ Fact を問う質問に対して、⼀貫した答えを
    返す
    – ⾔い換えにたいする強さ
    5

    View Slide

  6. 6

    View Slide

  7. タスク設定
    • モデル f(x, θ) があって、 ∈ D という
    書き換えデータがある
    – y: model の prediction
    – a: alternative prediction
    • モデル f のアーキテクチャをたもったまま、
    y ではなく a を予測するような f(x, θ‘)を⾒
    つけたい
    – かつ、ほかの x に対する予測は変えない
    • x の⾔い換えに対しては a を予測するように
    したい
    7

    View Slide

  8. 3要件を踏まえた評価指標
    • success rate: ↑
    – g がどれくらい y から a に書き換えることがで
    きたか
    • retain accuracy: ↑
    – その他の(書き換え対象外の)知識をどれくらい残
    せたか
    • equivalence accuracy: ↑
    – ⾔い換えに対してロバストに書き換えができたか
    • performance deterioration: ↓
    – 書き換え後のモデルのパフォーマンス低下
    8

    View Slide

  9. Method: ハイパーネットワーク
    • 元のパラメータ θ を 新しいパラメータ
    θ‘ に書き換えるような NN g を考える
    – パラメータ φ
    9
    x ͔Β a Λ༧ଌ͢Δ Loss Λ࠷খԽ͢Δ φ
    θ ͔ΒͰ͖Δ͚ͩ཭Εͳ͍ θ’ Λ
    ༧ଌ͍ͨ͠ɺͱ͍͏੍໿
    Ϛʔδϯ

    View Slide

  10. 制約 C について
    • 素朴には: Lp
    ノルム:
    • 提案⼿法: KLダイバージェンス:
    10
    ύϥϝʔλͷ஋͕ۙ
    ͚Ε͹ۙ͘ͳΔΑ͏
    ੍໿
    Ϟσϧͷग़ྗ෼෍͕
    ۙ͘ͳΔΑ͏੍໿

    View Slide

  11. 中⾝
    • θ‘を直接求めるのではなく、θ‘ = θ + Λθ
    とおいて Λθを求める
    • を連結して bi-LSTMに⼊れて得
    た h を 5層のFFNN に⼊⼒、その勾配を⽤
    いてパラメータ差分を計算
    – 勾配のゲーティングされた和を⽤いる
    11

    View Slide

  12. 実験
    • Fact Checking
    – FEVER データセット [Throne et al. 2018]
    – BERTを⽤いたの2値分類
    • Closed-book QA
    – zsRE データセット [Levy et al. 2017]
    • ⼈⼿で作った Question Paraphrase が付いてい
    るのが採⽤ポイント
    – BARTを⽤いた seq2seq
    12

    View Slide

  13. Alternative prediction の⽣成
    • Fact Checking:
    – ラベルを反転させるだけ
    • Question Answering:
    – ビームサーチの Top-1 以外の候補を使って作

    • ⾔い換えの⽣成
    – 折返し翻訳を⽤いる
    13
    ݱ࣮ੈքͰਖ਼͍͠஌͔ࣝͲ͏͔͸ؾʹͤͣ࡞͍ͬͯΔ͜ͱʹ஫ҙʂ

    View Slide

  14. 実験結果 - Fact Checking
    14

    View Slide

  15. 実験結果 – Question Answering
    15

    View Slide

  16. 結局どのモデルが総合的に
    良いのか︖
    • 各指標にランダムな重みを付けて線形和
    にして1000回繰り返し総合点を求める
    – 重み: Dirichlet 分布からのサンプル
    • Simplex中の1点
    16

    View Slide

  17. Logitの動き
    17

    View Slide

  18. モデルのどの部分を書き換えたか
    18
    εύʔεͳ Update ͕ߦΘΕ͍ͯΔ

    View Slide

  19. まとめ
    • LMの内部に暗黙的に保存されている
    factual knowledge を編集するタスクを
    提案
    • いくつかの評価指標を定義
    • KnowledgeEditorというハイパーネット
    ワークを提案
    19

    View Slide