Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Editing Factual Knowledge in Language Models (EMNLP 2021)
Search
Koji Matsuda
September 20, 2022
Research
0
300
Editing Factual Knowledge in Language Models (EMNLP 2021)
Koji Matsuda
September 20, 2022
Tweet
Share
More Decks by Koji Matsuda
See All by Koji Matsuda
SHINRA2020-JP リーダーボードのご案内
conditional
0
140
AI王 〜クイズAI日本一決定戦〜
conditional
0
11k
論文紹介: Neural Relation Extraction for Knowledge Base Enrichment (ACL2019)
conditional
0
340
Training Classifiers with Natural Language Explanations
conditional
0
280
Other Decks in Research
See All in Research
CARA MEMBUKA VIDEO DEWASA DI INDONESIA
bloglangit
0
320
研究効率化Tips_2024 / Research Efficiency Tips 2024
ryo_nakamura
5
4.1k
Evolutionary Optimization ofModel Merging Recipes (2024/04/17, NLPコロキウム)
iwiwi
9
5k
中高生にSFを読んでもらうには
ichiiida
1
830
SSII2024 [TS1] 生成AIと3次元ビジョン ~3次元生成AIの最先端の理論~
ssii
PRO
1
980
マルチモーダル学習ライブラリ Heronと⾃動運転への応⽤
yuyamaguchi
1
980
SSII2024 [OS2] 大規模言語モデルとVision & Languageのこれから
ssii
PRO
5
1.3k
大規模言語モデルを用いた その場での要約に基づく レビュー探索インタフェース
yamamotolab
0
240
SSII2024 [PD] SSII、次の30年への期待
ssii
PRO
2
1.3k
DroidKaigi CfP分析
yukihiromori
0
110
機械学習と数理最適化の融合-文脈付き確率的最短路を例として-
mickey_kubo
2
670
SSII2024 [OS3] 企業における基盤モデル開発の実際
ssii
PRO
0
490
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
15
4.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
228
16k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
36
9.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
16
1.6k
Become a Pro
speakerdeck
PRO
15
4.8k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
224
21k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
Six Lessons from altMBA
skipperchong
24
3.2k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
A better future with KSS
kneath
231
17k
The MySQL Ecosystem @ GitHub 2015
samlambert
248
12k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Transcript
Editing Factual Knowledge in Language Models EMNLP 2021 Nicola De
Cao, Wilker Aziz, Ivan Titov 第14回最先端NLP勉強会 2022/09/27 読み⼿: 松⽥耕史 (理研/東北⼤) 図表は元論⽂からの引⽤です。 1
どんな論⽂︖ • Language Model に内在している Factual Knowledge を編集する • どうやって︖
– パラメータ θ‘ を予測する hyper network g (KnowledgeEditor)を学習する 2
貢献 • Knowledge Editing というタスクを定義、 評価指標も提案 • KnowledgeEditor という⼿法を提案 –
パラメータを予測する NN モデル • KnowledgeEditor の有効性を2つのタス クで確認 – Fact Checking – Question Answering • KnowledgeEditor の書き換え具合を分析 3
モチベーション • LM as KB – Factual Knowledge が パラメータとして暗
にうめこまれている • しかし、間違っていたり obsolete になっ ていたりすることもあるので修正したい こともある • でも、、、コストのかかる再学習はした くない 4
実現したい3要件 • Generality: – いろんなモデルに使える • 本論⽂では BERT, BART に適⽤
• Reliability: – 余計な副作⽤をうまない、編集したい Fact 以外 に影響を与えない • Consistency: – 同じ Fact を問う質問に対して、⼀貫した答えを 返す – ⾔い換えにたいする強さ 5
6
タスク設定 • モデル f(x, θ) があって、 <x,y,a> ∈ D という
書き換えデータがある – y: model の prediction – a: alternative prediction • モデル f のアーキテクチャをたもったまま、 y ではなく a を予測するような f(x, θ‘)を⾒ つけたい – かつ、ほかの x に対する予測は変えない • x の⾔い換えに対しては a を予測するように したい 7
3要件を踏まえた評価指標 • success rate: ↑ – g がどれくらい y から
a に書き換えることがで きたか • retain accuracy: ↑ – その他の(書き換え対象外の)知識をどれくらい残 せたか • equivalence accuracy: ↑ – ⾔い換えに対してロバストに書き換えができたか • performance deterioration: ↓ – 書き換え後のモデルのパフォーマンス低下 8
Method: ハイパーネットワーク • 元のパラメータ θ を 新しいパラメータ θ‘ に書き換えるような NN
g を考える – パラメータ φ 9 x ͔Β a Λ༧ଌ͢Δ Loss Λ࠷খԽ͢Δ φ θ ͔ΒͰ͖Δ͚ͩΕͳ͍ θ’ Λ ༧ଌ͍ͨ͠ɺͱ͍͏੍ Ϛʔδϯ
制約 C について • 素朴には: Lp ノルム: • 提案⼿法: KLダイバージェンス:
10 ύϥϝʔλͷ͕ۙ ͚Εۙ͘ͳΔΑ͏ ੍ Ϟσϧͷग़ྗ͕ ۙ͘ͳΔΑ͏੍
中⾝ • θ‘を直接求めるのではなく、θ‘ = θ + Λθ とおいて Λθを求める •
<x, y, a> を連結して bi-LSTMに⼊れて得 た h を 5層のFFNN に⼊⼒、その勾配を⽤ いてパラメータ差分を計算 – 勾配のゲーティングされた和を⽤いる 11
実験 • Fact Checking – FEVER データセット [Throne et al.
2018] – BERTを⽤いたの2値分類 • Closed-book QA – zsRE データセット [Levy et al. 2017] • ⼈⼿で作った Question Paraphrase が付いてい るのが採⽤ポイント – BARTを⽤いた seq2seq 12
Alternative prediction の⽣成 • Fact Checking: – ラベルを反転させるだけ • Question
Answering: – ビームサーチの Top-1 以外の候補を使って作 る • ⾔い換えの⽣成 – 折返し翻訳を⽤いる 13 ݱ࣮ੈքͰਖ਼͍͔ࣝ͠Ͳ͏͔ؾʹͤͣ࡞͍ͬͯΔ͜ͱʹҙʂ
実験結果 - Fact Checking 14
実験結果 – Question Answering 15
結局どのモデルが総合的に 良いのか︖ • 各指標にランダムな重みを付けて線形和 にして1000回繰り返し総合点を求める – 重み: Dirichlet 分布からのサンプル •
Simplex中の1点 16
Logitの動き 17
モデルのどの部分を書き換えたか 18 εύʔεͳ Update ͕ߦΘΕ͍ͯΔ
まとめ • LMの内部に暗黙的に保存されている factual knowledge を編集するタスクを 提案 • いくつかの評価指標を定義 •
KnowledgeEditorというハイパーネット ワークを提案 19