Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks

文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks

9e650916f36300d64c9c61eeb4ab697e?s=128

Taichi Aida

May 31, 2021
Tweet

More Decks by Taichi Aida

Other Decks in Research

Transcript

  1. Fake it Till You Make it: Self-Supervised Semantic Shifts for

    Monolingual Word Embedding Tasks Maurício Gruppi, Sibel Adalı, Pin-Yu Chen AAAI2021 論文紹介
  2. 導入 - 単語の意味変化を捉えるタスク - awful:印象深い(~1800年)→好ましくない(最近) - model:製品デザイン(工業)、数理モデル(科学) - 単語分散表現を用いて検出 -

    各文書で独立に学習し、回転させて1つの空間に 2
  3. 問題点 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、自己教師ありの手法 を提案 - 全ての単語を用いて回転(Global

    alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出 3
  4. 本論文での解決策 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、訓練データを擬似的に 作成する自己教師ありの手法を提案 - 全ての単語を用いて回転(Global

    alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出し、回転させる 4
  5. 自己教師あり学習 (self-supervised learning) - 正解データがない・少ない時に、教師ありのタスク を擬似的に作りモデルを学習する手法 - 画像処理 - 画像を回転させ、似ているデータは近い埋め込み表現

    - 事前学習済み言語モデル(BERT, ALBERTなど) - 文中の単語をマスクし、予測する 5
  6. 提案手法:S4-D 自己教師あり学習で分類器を獲得 - 自己教師あり学習(今回は分類問題) - 意味変化しない:回転行列の学習に使う単語(landmark) から抽出 - 意味変化する:回転行列の学習に使わない単語 (non-landmark)ベクトルに別の

    non-landmark の単語 ベクトルを足して意味変化した単語を生成する - 分類器 - 1層100ユニット、ReLU関数とsigmoid関数から構成 - 入力:結合した両時期の単語ベクトル - 出力:意味変化の有無 6
  7. 提案手法:S4-A 分類器で landmark を獲得して回転 - 分類器を学習する S4-D と大体は同じ - 回転行列の計算に使う

    landmark を更新 - S4-D で学習している分類器を使い、全ての単語から意味 変化の有無を予測 - 意味変化しないと予測された単語を landmark に - 最終的に得られた landmark で両ベクトル空間を 回転して対応付ける 7
  8. 実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 回転行列の計算に使う

    landmark の選び方 - Global:全ての単語を使う - Top-5%, 10%:頻度の高い単語の上位5%, 10% - Bot-5%, 10%:頻度の低い単語の上位5%, 10% - S4-A(提案手法):分類器に基づいて更新する 8
  9. 実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 意味変化の予測方法

    - COS:余弦類似度。閾値は 0.3, 0.5, 0.7 とした - S4-D(提案手法):学習した分類器で予測 - Noisy-Pairs:言語間の単語ベクトルを対応付ける。EM アルゴリズムで landmark を選定し、確率に基づいて意味 変化の有無を予測する。 9
  10. 結果 British vs. American English - 提案手法である S4-D が安定して高い性能 -

    低頻度語が悪さをしている可能性がある 10
  11. 結果 British vs. American English - 余弦類似度による予測は一貫して悪い - 提案手法 S4-A

    で landmark を選ぶと性能向上 11
  12. 結果 British vs. American English - 既存手法に基づく Noisy-Pairs が意味変化したと 予測したのは1単語のみ(Precision

    = 1) 12
  13. 実験 4つの言語で意味変化の有無を分類 - 2つの時期間で通時的な変化を検出する (SemEval-2020 Task 1) - 英語、ドイツ語、スウェーデン語、ラテン語で性能 を評価する

    - 回転行列の計算に使う landmark の選び方 - S4-A(提案手法) :分類器で予測して更新 - Noise-Aware:EM アルゴリズムで予測 - Top/Bot 5%, 10%:頻度の上位/下位5%, 10% - Global:全部使う - 余弦類似度に基づいて分類した 13
  14. 結果 4つの言語で意味変化の有無を分類 - 提案手法 S4-A が英語・ドイツ語において最高性 能を発揮した 14

  15. 実験 人工知能分野 vs. 物理 - arxiv で AI と物理の文書を比較 -

    各手法で意味変化の度合い(余弦類似度の低い 順)で単語を順位付けし、手法間でスピアマンの 順位相関を計算 - 回転行列の計算に使う landmark を選ぶ手法 - Global - Noise-Aware - S4-A(提案手法) 15
  16. 結果 意味変化検出の傾向 - 既存手法の相関に比べ、提案手法と他2つの手 法はそこまで相関が高くない→既存手法が見落 としている意味変化を検出できるのでは? 16

  17. 結果 各手法が予測した単語 - 提案手法 S4-A は変化を説明しやすい単語を予 測してくれている - mass:物理的質量(物理)、確率質量(AI) 17

  18. 結論 - 正解データの不足による教師なし学習、回転行列 の学習に使う意味が変化しない単語選択という問 題を解決するため、自己教師ありで分類器を学習 する手法を提案 - 学習した分類器は高い性能を発揮し、分類器を 使って意味が変化しない単語を選ぶと適切に文 書間のベクトル空間を対応付けできる

    18
  19. 19