発表者：⽊⼭朔 東京都⽴⼤学 M2 最先端NLP勉強会 2024 "OBMZ[JOH
4FNBOUJD
$IBOHF
UISPVHI
-FYJDBM
3FQMBDFNFOUT Francesco Periti, Pierluigi Cassotti, Haim Dubossarsky, Nina Tahmasebi ACL 2024 main long paper ※スライド中の図表は指定がない限りは上記の論⽂からの引⽤になります。 

1/40 背景と貢献 

#BDLHSPVOEɿ-FYJDBM
4FNBOUJD
$IBOHF n 通時的な意味変化とは時代により単語の意味が変化する事象 n 単語の意味に着⽬するため単語埋め込みを⽤いて分析する n gay：「happiness」から「homosexuality」へと意味が変化 n happy：「lucky」から「happiness」へと意味が変化 2/40 [Hamilton+, 2016] Diachronic Word Embeddings Reveal Statistical Laws of Semantic Change. ACL 2016. より図を引⽤ 

#BDLHSPVOEɿDPOUFYUVBMJ[FE
FNCFEEJOH n マスク⾔語モデルは⽂脈化された埋め込みを獲得できる n 事前学習時に学習された⽂脈であれば単語の意味を区別できる n 単語 rock の例 n Sitting on a rock. → “岩”の上に座っている n Listening to rock. → “ロック”を聴いている n 単語 w の埋め込みは⼆つの要素から決定される n 単語 w に対する⽂脈内の位置に基づいた⾔語モデルの持つ事前知識 n 単語 w が使⽤される⽂脈 3/40 

#BDLHSPVOEɿLOPXMFEHF
WT
DPOUFYU n 事前学習されていない⽂脈が来たらどうなる？ n ⽂脈の事前知識がないので、単語 w の⽂脈のみから意味を⾒つけたい n ⾔語モデルの⽂脈化能⼒に依存する n 意味変化の研究では時代差が⼤きく、上記の状況が起きやすい n 事前学習されていない知識を⽤いる必要がある n 意味変化の過⼩評価が起きてしまうかも… 4/40 

$POUSJCVUJPO n 語彙の置き換えにおける⽂脈の影響を分析 n 語彙の置き換えスキーマを提案 n 意図的に事前学習されていない⽂脈を⽤意して⽂脈化能⼒を調査 n 対象単語と置換語の単語埋め込みの類似度を計測 n 対象単語と置換語の関係次第でgapの度合いが変わる n 語彙の置き換えを⽤いた意味変化検出⼿法を提案 n 語彙の置き換え⽅法：WordNet+Wikitionaly, BERT, LLaMa2 n 対象単語と置き換えた単語の埋め込みの類似度から算出 n 代替語による解釈性の⾼い⼿法を提案 5/40 

6/40 語彙の置き換えにおける⽂脈の影響調査 

5IF
SFQMBDFNFOU
TDIFNB n 置換語の⽣成においては WordNet を使⽤ [Fellbaum, 1998] n 対象単語に対して異なるクラスを⽤いて置換語を⽣成 n 各置換クラスは単語の⽂脈化に異なる影響を与えると仮定 n 意味変化と関連があるクラスが⽤意されている n 同義語、反義語、上位語、ランダム単語 n 対象単語と置換語は同じ品詞になるように⽤意 n 正確な置換を⾏うため 7/40 [Fellbaum, 1998] WordNet: An Electronic Lexical Database 

TZOPOZNT n 同義語 n 例：sadness ← unhappiness n ある単語と同じ意味を表す単語に置換 n ⾔語モデルの⽂脈化がどれだけ安定しているのかを評価 n 対象単語と置換語が類似していることを仮定する n 通時的な解釈 n 置換語による意味変化がないことをシミュレート 8/40 

BOUPOZNT n 反義語 n 例：hot ← cold n ある単語の意味と反対の意味を持つ単語に置換 n ⾔語モデルの⽂脈化における⼩さな変化を評価 n 対象単語と置換語の間に若⼲異なる埋め込みを仮定 n 通時的な解釈 n 置換語が元の意味と正反対にある変化をシミュレート 9/40 

IZQFSOZNT n 上位語 n 例：animal ← bird n ある単語より広い概念を意味する単語に置換 n ⾔語モデルの⽂脈化における⼩さな変化を評価 n 対象単語と置換語の間に若⼲異なる埋め込みを仮定 n 通時的な解釈 n 置換語の意味の広がりをシミュレート 10/40 

SBOEPN
XPSET n ランダムな単語 n 例：sadness ← eld n 元の単語と関係のない単語に置換 n ⾔語モデルの⽂脈化における⼤きな変化を評価 n 対象単語と置換語の間に⼤きく異なる埋め込みを仮定 n 通時的な解釈 n 置換語は強い意味変化をシミュレート（新たな語義の獲得） 11/40 

4FUVQ n Data n WordNet から置換語を⽤意 [Fellbaum, 1998] n SemCor を⽤いて品詞と意味を考慮した置換語を選定 [Miller+, 1993] n 品詞ごとに分析対象の⽂を⽤意 n Model n BERT n mBERT n XLM-R 12/40 [Miller+, 1993] A Semantic Concordance. [Fellbaum, 1998] WordNet: An Electronic Lexical Database 

5FOTJPO
DBVTFE
CZ
TFNBOUJD
DIBOHF n ⼆つの埋め込みを⽐較し⾔語モデルの tention を分析 n 元の⽂脈 c における対象単語 w の埋め込み（cat の埋め込み） n 同じ⽂脈 c における置換語 r の埋め込み（chair の埋め込み） n Self-Embedding Distance（SED） n 対象単語 w と置換語 r のコサイン距離を SED と定義 n SED が⾼い：対象単語と置換語が離れた意味 n SED が低い：対象単語と置換語が似ている意味 13/40 

4FMGFNCFEEJOH
EJTUBODF n 層ごとに各置換クラスと品詞の平均 SED を計算 n 元の⽂と置換後の⽂の各ペアに対して、各層ごとに SED を計算 n 埋め込みは異⽅性を持つことから SED は⽐較不可能 [Ethayarajh, 2019] n 各層や品詞ごとに SED を⽐較するために、層特有の正規化を実施 14/40 [Ethayarajh, 2019] How Contextual are Con- textualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. 

4FMGFNCFEEJOH
EJTUBODFɿOPSNBMJ[BUJPO n 層ごとに正規化を実施 n Table 1とは別に3864⽂の集合を獲得 n 各⽂に対し対象単語をランダムな置換語に置き換える n 品詞の⼀致に関係なく置換を⾏う n 各層ごとに置換語集合を⽤いて平均 SED を計算 n 得られた SED の値を各層の上限値として正規化 n 🤔 正規化としか書かれておらず、おそらくはこの値で割っている…? 15/40 

4FMGFNCFEEJOH
EJTOUBODFɿMBZFS n 深い層は⽂脈が単語の表現を決定する傾向 n 深い層ほど⽂脈化が顕著 n 層が深くなるにつれ SED が⼩さくなる n 先⾏研究と同じ結果 [Ethayarajh, 2019] 16/40 [Ethayarajh, 2019] How Contextual are Con- textualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings. 

4FMGFNCFEEJOH
EJTOUBODFɿSBOEPN n ランダムな置換においては⽂脈情報は影響を与えない n ランダムな置換の場合 SED スコアが他と⽐較して 安定している n 強い意味変化のモデル化に 失敗している 17/40 

4FMGFNCFEEJOH
EJTOUBODFɿLOPXMFEHF n モデルは事前学習された知識に依存する n 動詞は他の品詞と⽐較して 反義語と同義語の SED が ⾼い n 初期の層では0.9と⾼いが 最後の層では0.6-0.7と低い値 n 浅い層は動詞の⽂脈化が 顕著ではない 18/40 

4VNNBSZ
JO
4FMGFNCFEEJOH
EJTOUBODF n 品詞や対象単語と置換語の関係により異なる結果が⽰される n 関連性のある置換 n 層が進むにつれて⽂脈が考慮された埋め込みに（SED が下がる） n ⾔語モデルの⽂脈化がうまく作⽤している n 関連性のある置換を使えば⽂脈を考慮した埋め込みが得られそう n ランダムな置換 n 層が進んでも埋め込みの類似度は変化しない（SED は安定する） n ⾔語モデルの⽂脈化が作⽤していない 19/40 

20/40 語彙の置き換えを⽤いた意味変化検出 

-FYJDBM
4FNBOUJD
$IBOHF
UBTL
-4$ n 意味変化検出タスク n ⼆つの時期間の意味変化度合いを計算して⼈⼿と相関を計測する n Form-based と Sense-based の主な⼆つの⼿法が存在 n データセット n SemEval 2020 Task 1 subtask 2 English [Schlechtweg+, 2020] 21/40 [Schlechtweg+, 2020] SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection 

'PSNCBTFE
WT
4FOTFCBTFE n Form-based n PRT：時期ごとに平均化された単語埋め込みでのコサイン距離 n APD：時期ごとの単語埋め込みペアのコサイン類似度の平均 n Sense-based n JSD：クラスタリングしてクラスタのJSダイバージェンスを計算 22/40 [Periti and Tahmasebi, 2024] Systematic Comparison of Contextualized Word Embeddings for Lexical Semantic Change より数式を引⽤ 

-4$
UISPVHI
TZOUIFUJD
EBUBTFU n 擬似データを⽤いてランダムな単語の置き換えた場合を調査 n C1：元々のコーパス n C2：異なる確率でランダムな置換を⾏ったコーパス n 46個の対象単語に対して擬似的な意味変化を⽤意 n PRT と JSD で計算されたスコアを⼈⼿とのスピアマン相関と⽐較 n 平均ベクトルで取るか？クラスタの違いで取るか？ 23/40 

-4$
UISPVHI
TZOUIFUJD
EBUBTFU 24/40 n スピアマン相関のスコアは PRT > JSD の傾向 n Form-based が良い n PRT は layer 3 から モデル化ができ始めている n JSD の結果は BERT の 埋め込みの性質によるもの モデル化には不⼗分 

-4$
UISPVHI
SFQMBDFNFOU n 置換スキーマに基づいた意味変化の教師ありの⼿法を提案 n 対象単語ごとに置換語を⽤意 n 時期ごとの SED の差分が⼩さい置換語を順番に⽤意 n Top-k の置換語ごとの SED の平均を意味変化スコアと定義 n ⼊⼒：単語の置換セット n WordNet：対象単語の同義語や上位語のレンマを使⽤ [Fellbaum, 1998] n Wiktionary：対象単語に関連する単語を抽出 25/40 [Fellbaum, 1998] WordNet: An Electronic Lexical Database 

-4$
UISPVHI
SFQMBDFNFOUɿEFGJOJUJPO n T = {w₁, w₂, ..., wN }：対象単語の集合 n ρ(wᵢ) = {r₁, r₂, ..., rM }：対象単語の可能な置換語の集合 n St(wᵢ, rⱼ)：時期 t の対象単語が⼊った⽂の集合 n 時期 t ∈ {1, 2} n ⽂ s ∈ St(wᵢ, rⱼ) n awd^t (wᵢ, rⱼ)：時期 t における SED の平均 26/40 

-4$
UISPVHI
SFQMBDFNFOUɿEFGJOJUJPO n TD (wᵢ, rⱼ) ：時期1と時期2の平均 SED の差分の絶対値 n R(ρ(wᵢ))：置換語を TD が⼩さい順に並べたもの n lscw ：意味変化スコア n Top-k の置換を考慮した平均 TD 27/40 

-4$
UISPVHI
SFQMBDFNFOUɿ5PQL n 意味変化スコアの k を変えた場合 n 同義語を⽤いるとk=22で最⼤ n 置換語が22個ある時に最良 n ランダムな語は性能が低い n 教師なしのシナリオの設定 28/40 

-4$
UISPVHI
SFQMBDFNFOUɿ3FTVMUT n Min, Max, Avg の解釈 n Min：k=1の時のスコア n Max：k を可変にし最良の時のスコア n Avg：k=1~100までの平均スコア n 他の意味変化検出⼿法との⽐較 n 類義語を使った置換は SOTA に匹敵 n 類義語を⽤いると代替語がわかる 解釈性の⾼い⼿法 29/40 

-4$
UISPVHI
SFQMBDFNFOUɿ3BOEPN n Random の場合 n 無関係な置換でもある程度のスコア n 教師なしの設定に対応する n 同義語の情報がなくても ランダムな置換で計算が可能 30/40 

31/40 語彙の置き換えを⾔語モデルに⾏わせた 場合の意味変化検出 

-4$
UISPVHI
TVCTUJUVUJPOT n 語彙を置換する部分を⾔語モデルに⾏わせる n Wordnet とか使って置換語を⽣成する部分を⾔語モデルにやらせる n ⽐較⼿法 n BERT n [MASK] を⽤いて置換語を⽣成 n LLaMa 2 n 対象単語を予測できるようにモデルを fine-tuning n 🤔 BERT は fine-tuning していないので LLaMa2 に有利な設定だが… 32/40 [Schlechtweg+, 2020] SemEval-2020 Task 1: Unsupervised Lexical Semantic Change Detection 

'JOFUVOJOH
PG
--B.BɿEBUBTFU n 元の⽂における対象単語の前後にアスタリスクを追加 n |answer|：対象単語の置換語を⽰す n |s|：同義語か置換語の開始を⽰す n |end|：同期語か置換語のリストの終点を⽰す n 語義置換のリスト n ALaSCA データセットから⽤意 [Lacerra+, 2021] n 学習する形式 33/40 [Lacerra+, 2021] ALaSca: an Automated approach for Large-Scale Lexical Substitution. 

'JOFUVOJOH
PG
--B.B ɿTFUUJOH n Model n LLaMa2 7B n Fine-tuning n QLoRA [Dettmers+, 2023] n 1 epoch n Rank 8 n Alpha 18 34/40 下記のような形式を学習させるイメージ [Dettmers+, 2023] Qlora: Efficient finetuning of quantized llms. 

&YBNQMF
PG
TVCTUJUVUJPO
XPSET n 単語 plane における代替語の例 n BERT と LLaMa2 を⽐較すると LLaMa2 の⽅が具体的な単語が出る 35/40 

-4$
UISPVHI
TVCTUJUVUJPOTɿ3FTVMUT n BERT の性能は悪い n ⽂脈が限られた中で置換語を⽣成するため n 🤔 モデルサイズが⼩さいから悪い、と主張している… n LLaMa 2 の性能は⾼い n Fine-tuning の実施により意味的な側⾯を考慮できている n SOTA より若⼲下がるが性能は良い 36/40 

3FTVMUT
TVNNBSZ n 全体の結果 n SOTAには届かないが代替語による解釈性が⾼い⼿法が得られた n それぞれの置き換え⼿法の気持ち n WordNet+Wikitionaly：教師あり学習 n BERT：教師なし学習 n LLaMa2：弱教師あり学習 37/40 

$PODMVTJPO n 語彙の置き換えにおける⽂脈の影響を分析 n 語彙の置き換えスキーマを提案 n 意図的に事前学習されていない⽂脈を⽤意して⽂脈化能⼒を調査 n 対象単語と置換語の単語埋め込みの類似度を計測 n 対象単語と置換語の関係次第でgapの度合いが変わる n 語彙の置き換えを⽤いた意味変化検出⼿法を提案 n 語彙の置き換え⽅法：WordNet+Wikitionaly, BERT, LLaMa2 n 対象単語と置き換えた単語の埋め込みの類似度から算出 n 代替語による解釈性の⾼い⼿法を提案 38/40 

ॴײ n ⽂脈化が効く時と効かない時を分析している n BERTology 的な研究で、いまさらこの分析か…と⾔われるかも n 対象単語と置換語の関係によって変化するのは⾯⽩い n 類義語を⽣成して間接的に意味変化度合いを計算している n 類義語に落としてタスクを解いているので解釈が容易に n 解釈性を上げる⽅向でこの研究が評価されている n 2つの時期間での意味変化度合い n 結構やり尽くされている気がする n 理想的には教師なしの設定で意味変化した単語を⽰したい n 2つの時期よりも複数時期での分析が欲しい[Periti and Tahmasebi , 2024] 39/40 [Periti and Tahmasebi , 2024] Towards a Complete Solution to Lexical Semantic Change: an Extension to Multiple Time Periods and Diachronic Word Sense Induction 

ॴײ n 意味変化とGPT系統 n 意味変化の研究はGPT系統に破壊されていない印象を受ける n ⽣成タスクへの帰着があると強いはず n GPT系列を使った研究が出始めている n Word in Context を使う[Periti+, 2024] n 意味変化の種類の分類 [Cassotti+, 2024] n 単語埋め込み vs ⽂埋め込み n ⽂埋め込みから単語埋め込みが得られたら⼀気に情勢が変わりそう n XLM-R を fine-tuning して⽂埋め込みから単語埋め込みを獲得[Cassotti+, 2023] n 強い⽂埋め込みのモデルを適応すると…? 40/40 [Periti+ , 2024] (Chat)GPT v BERT: Dawn of Justice for Semantic Change Detection [Cassotti+, 2024] Using Synchronic Definitions and Semantic Relations to Classify Semantic Change Types [Cassotti+, 2023] XL-LEXEME: WiC Pretrained Model for Cross-Lingual LEXical sEMantic changE