Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Fake it Till You Make it: Self-Supervised ...
Search
Taichi Aida
May 31, 2021
Research
1
75
文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
Taichi Aida
May 31, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
120
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
250
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
150
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
300
新入生向けチュートリアル:文献のサーベイv2
a1da4
13
9.4k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
150
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
210
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
76
新入生向けチュートリアル:文献のサーベイ
a1da4
0
430
Other Decks in Research
See All in Research
The many faces of AI and the role of mathematics
gpeyre
1
1.7k
Large Vision Language Model (LVLM) に関する最新知見まとめ (Part 1)
onely7
24
5.9k
博士学位論文予備審査 / Scaling Telemetry Workloads in Cloud Applications: Techniques for Instrumentation, Storage, and Mining
yuukit
1
1.7k
サーブレシーブ成功率は勝敗に影響するか?
vball_panda
0
530
言語モデルLUKEを経済の知識に特化させたモデル「UBKE-LUKE」について
petter0201
0
200
論文紹介: COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon (SIGMOD 2024)
ynakano
1
380
Elix, CBI2024, スポンサードセッション, Molecular Glue研究の展望:近年の進展とAI活用の可能性
elix
0
130
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
300
チュートリアル:Mamba, Vision Mamba (Vim)
hf149
6
2.2k
VisFocus: Prompt-Guided Vision Encoders for OCR-Free Dense Document Understanding
sansan_randd
1
460
Weekly AI Agents News! 12月号 プロダクト/ニュースのアーカイブ
masatoto
0
320
Zipf 白色化:タイプとトークンの区別がもたらす良質な埋め込み空間と損失関数
eumesy
PRO
8
1.3k
Featured
See All Featured
Designing for humans not robots
tammielis
250
25k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
560
Product Roadmaps are Hard
iamctodd
PRO
50
11k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Become a Pro
speakerdeck
PRO
26
5.1k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Transcript
Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks Maurício Gruppi, Sibel Adalı, Pin-Yu Chen AAAI2021 論文紹介
導入 - 単語の意味変化を捉えるタスク - awful:印象深い(~1800年)→好ましくない(最近) - model:製品デザイン(工業)、数理モデル(科学) - 単語分散表現を用いて検出 -
各文書で独立に学習し、回転させて1つの空間に 2
問題点 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、自己教師ありの手法 を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出 3
本論文での解決策 - 教師なし学習 - 正解データ(意味が変化した/変化しない単語)がないた め、対象の文書に対して単語分散表現だけを使う →意味変化の有無を分類問題として捉え、訓練データを擬似的に 作成する自己教師ありの手法を提案 - 全ての単語を用いて回転(Global
alignment) - 意味変化した単語が使われることで、各ベクトル空間の特 徴を捉えた対応付けができない - 各文書で意味が変化しない単語(landmark)が良い →学習した分類器で landmark だけを抽出し、回転させる 4
自己教師あり学習 (self-supervised learning) - 正解データがない・少ない時に、教師ありのタスク を擬似的に作りモデルを学習する手法 - 画像処理 - 画像を回転させ、似ているデータは近い埋め込み表現
- 事前学習済み言語モデル(BERT, ALBERTなど) - 文中の単語をマスクし、予測する 5
提案手法:S4-D 自己教師あり学習で分類器を獲得 - 自己教師あり学習(今回は分類問題) - 意味変化しない:回転行列の学習に使う単語(landmark) から抽出 - 意味変化する:回転行列の学習に使わない単語 (non-landmark)ベクトルに別の
non-landmark の単語 ベクトルを足して意味変化した単語を生成する - 分類器 - 1層100ユニット、ReLU関数とsigmoid関数から構成 - 入力:結合した両時期の単語ベクトル - 出力:意味変化の有無 6
提案手法:S4-A 分類器で landmark を獲得して回転 - 分類器を学習する S4-D と大体は同じ - 回転行列の計算に使う
landmark を更新 - S4-D で学習している分類器を使い、全ての単語から意味 変化の有無を予測 - 意味変化しないと予測された単語を landmark に - 最終的に得られた landmark で両ベクトル空間を 回転して対応付ける 7
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 回転行列の計算に使う
landmark の選び方 - Global:全ての単語を使う - Top-5%, 10%:頻度の高い単語の上位5%, 10% - Bot-5%, 10%:頻度の低い単語の上位5%, 10% - S4-A(提案手法):分類器に基づいて更新する 8
実験 British vs. American English - 意味変化の検出は時期間で調査するのが多い が、ここでは時期を揃えて地域の違いを分析 - 意味変化の予測方法
- COS:余弦類似度。閾値は 0.3, 0.5, 0.7 とした - S4-D(提案手法):学習した分類器で予測 - Noisy-Pairs:言語間の単語ベクトルを対応付ける。EM アルゴリズムで landmark を選定し、確率に基づいて意味 変化の有無を予測する。 9
結果 British vs. American English - 提案手法である S4-D が安定して高い性能 -
低頻度語が悪さをしている可能性がある 10
結果 British vs. American English - 余弦類似度による予測は一貫して悪い - 提案手法 S4-A
で landmark を選ぶと性能向上 11
結果 British vs. American English - 既存手法に基づく Noisy-Pairs が意味変化したと 予測したのは1単語のみ(Precision
= 1) 12
実験 4つの言語で意味変化の有無を分類 - 2つの時期間で通時的な変化を検出する (SemEval-2020 Task 1) - 英語、ドイツ語、スウェーデン語、ラテン語で性能 を評価する
- 回転行列の計算に使う landmark の選び方 - S4-A(提案手法) :分類器で予測して更新 - Noise-Aware:EM アルゴリズムで予測 - Top/Bot 5%, 10%:頻度の上位/下位5%, 10% - Global:全部使う - 余弦類似度に基づいて分類した 13
結果 4つの言語で意味変化の有無を分類 - 提案手法 S4-A が英語・ドイツ語において最高性 能を発揮した 14
実験 人工知能分野 vs. 物理 - arxiv で AI と物理の文書を比較 -
各手法で意味変化の度合い(余弦類似度の低い 順)で単語を順位付けし、手法間でスピアマンの 順位相関を計算 - 回転行列の計算に使う landmark を選ぶ手法 - Global - Noise-Aware - S4-A(提案手法) 15
結果 意味変化検出の傾向 - 既存手法の相関に比べ、提案手法と他2つの手 法はそこまで相関が高くない→既存手法が見落 としている意味変化を検出できるのでは? 16
結果 各手法が予測した単語 - 提案手法 S4-A は変化を説明しやすい単語を予 測してくれている - mass:物理的質量(物理)、確率質量(AI) 17
結論 - 正解データの不足による教師なし学習、回転行列 の学習に使う意味が変化しない単語選択という問 題を解決するため、自己教師ありで分類器を学習 する手法を提案 - 学習した分類器は高い性能を発揮し、分類器を 使って意味が変化しない単語を選ぶと適切に文 書間のベクトル空間を対応付けできる
18
19