Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
Search
Taichi Aida
May 31, 2021
Research
1
55
文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
Taichi Aida
May 31, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
46
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
58
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
22
新入生向けチュートリアル:文献のサーベイ
a1da4
0
100
文献紹介:Temporal Attention for Language Models
a1da4
0
180
文献紹介:Dynamic Contextualized Word Embeddings
a1da4
2
290
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
a1da4
0
230
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
a1da4
0
66
新入生向けチュートリアル:tmux
a1da4
0
140
Other Decks in Research
See All in Research
Discovering Universal Geometry in Embeddings with ICA
momoseoyama
1
340
自己教師あり学習による事前学習(CVIMチュートリアル)
naok615
2
1.4k
Introduction of NII S. Koyama's Lab (AY2024)
skoyamalab
0
100
説明可能AI:代表的手法と最近の動向
yuyay
1
590
クリック率を最大化しない推薦システム
joisino
41
14k
[KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction / KDD2023 LY Tech Reading
shunk031
0
440
CSC590 Lecture 01
javiergs
PRO
0
130
SCOPE-RL: オフライン強化学習とオフ方策評価のライブラリ
aiueola
0
120
株式会社リクルートホールディングス 企業分析
frandle256
0
130
[ICLR'24] Towards Assessing and Benchmarking Risk-Return Tradeoff of OPE
harukakiyohara_
0
200
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
mkimura
0
140
Accurate Method and Variable Tracking in Commit History
tsantalis
0
250
Featured
See All Featured
Infographics Made Easy
chrislema
238
18k
How to name files
jennybc
65
93k
What's new in Ruby 2.0
geeforr
337
31k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
78
42k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
244
20k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
227
16k
The Language of Interfaces
destraynor
151
23k
Designing with Data
zakiwarfel
96
4.8k
GitHub's CSS Performance
jonrohan
1025
450k
Reflections from 52 weeks, 52 projects
jeffersonlam
345
19k
4 Signs Your Business is Dying
shpigford
175
21k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Transcript
Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks Maurício Gruppi, Sibel Adalı, Pin-Yu Chen AAAI2021 論文紹介
導入 - 単語の意味変化を捉えるタスク - awful:印象深い(~1800年)→好ましくない(最近) - model:製品デザイン(工業)、数理モデル(科学) - 単語分散表現を用いて検出 -
各文書で独立に学習し、回転させて1つの空間に 2
問題点 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、自己教師ありの手法 を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出 3
本論文での解決策 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、訓練データを擬似的に 作成する自己教師ありの手法を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出し、回転させる 4
自己教師あり学習 (self-supervised learning) - 正解データがない・少ない時に、教師ありのタスク を擬似的に作りモデルを学習する手法 - 画像処理 - 画像を回転させ、似ているデータは近い埋め込み表現
- 事前学習済み言語モデル(BERT, ALBERTなど) - 文中の単語をマスクし、予測する 5
提案手法:S4-D 自己教師あり学習で分類器を獲得 - 自己教師あり学習(今回は分類問題) - 意味変化しない:回転行列の学習に使う単語(landmark) から抽出 - 意味変化する:回転行列の学習に使わない単語 (non-landmark)ベクトルに別の
non-landmark の単語 ベクトルを足して意味変化した単語を生成する - 分類器 - 1層100ユニット、ReLU関数とsigmoid関数から構成 - 入力:結合した両時期の単語ベクトル - 出力:意味変化の有無 6
提案手法:S4-A 分類器で landmark を獲得して回転 - 分類器を学習する S4-D と大体は同じ - 回転行列の計算に使う
landmark を更新 - S4-D で学習している分類器を使い、全ての単語から意味 変化の有無を予測 - 意味変化しないと予測された単語を landmark に - 最終的に得られた landmark で両ベクトル空間を 回転して対応付ける 7
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 回転行列の計算に使う
landmark の選び方 - Global:全ての単語を使う - Top-5%, 10%:頻度の高い単語の上位5%, 10% - Bot-5%, 10%:頻度の低い単語の上位5%, 10% - S4-A(提案手法):分類器に基づいて更新する 8
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 意味変化の予測方法
- COS:余弦類似度。閾値は 0.3, 0.5, 0.7 とした - S4-D(提案手法):学習した分類器で予測 - Noisy-Pairs:言語間の単語ベクトルを対応付ける。EM アルゴリズムで landmark を選定し、確率に基づいて意味 変化の有無を予測する。 9
結果 British vs. American English - 提案手法である S4-D が安定して高い性能 -
低頻度語が悪さをしている可能性がある 10
結果 British vs. American English - 余弦類似度による予測は一貫して悪い - 提案手法 S4-A
で landmark を選ぶと性能向上 11
結果 British vs. American English - 既存手法に基づく Noisy-Pairs が意味変化したと 予測したのは1単語のみ(Precision
= 1) 12
実験 4つの言語で意味変化の有無を分類 - 2つの時期間で通時的な変化を検出する (SemEval-2020 Task 1) - 英語、ドイツ語、スウェーデン語、ラテン語で性能 を評価する
- 回転行列の計算に使う landmark の選び方 - S4-A(提案手法) :分類器で予測して更新 - Noise-Aware:EM アルゴリズムで予測 - Top/Bot 5%, 10%:頻度の上位/下位5%, 10% - Global:全部使う - 余弦類似度に基づいて分類した 13
結果 4つの言語で意味変化の有無を分類 - 提案手法 S4-A が英語・ドイツ語において最高性 能を発揮した 14
実験 人工知能分野 vs. 物理 - arxiv で AI と物理の文書を比較 -
各手法で意味変化の度合い(余弦類似度の低い 順)で単語を順位付けし、手法間でスピアマンの 順位相関を計算 - 回転行列の計算に使う landmark を選ぶ手法 - Global - Noise-Aware - S4-A(提案手法) 15
結果 意味変化検出の傾向 - 既存手法の相関に比べ、提案手法と他2つの手 法はそこまで相関が高くない→既存手法が見落 としている意味変化を検出できるのでは? 16
結果 各手法が予測した単語 - 提案手法 S4-A は変化を説明しやすい単語を予 測してくれている - mass:物理的質量(物理)、確率質量(AI) 17
結論 - 正解データの不足による教師なし学習、回転行列 の学習に使う意味が変化しない単語選択という問 題を解決するため、自己教師ありで分類器を学習 する手法を提案 - 学習した分類器は高い性能を発揮し、分類器を 使って意味が変化しない単語を選ぶと適切に文 書間のベクトル空間を対応付けできる
18
19