Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
Taichi Aida
September 16, 2021
Research
0
150
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
最先端NLP2021
Learning Lexical Subspaces in a Distributional Vector Space(TACL2020)
相田太一
都立大 小町研
Taichi Aida
September 16, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
文献紹介:Dynamic Contextualized Word Embeddings
a1da4
2
150
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
a1da4
0
19
新入生向けチュートリアル:tmux
a1da4
0
48
文献紹介:Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks
a1da4
1
35
文献紹介:Living Machines: A study of atypical animacy
a1da4
0
25
文献紹介:Sequential Modelling of the Evolution of Word Representations for Semantic Change Detection
a1da4
0
27
文献紹介:Simple, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora
a1da4
0
54
文献紹介:Diachronic_Sense_Modeling_with_Deep_Contextualized_Word_Embeddings__An_Ecological_View.pdf
a1da4
0
130
文献紹介:Reference Network for Neural Machine Translation
a1da4
1
84
Other Decks in Research
See All in Research
Optimal Transport for Natural Language Processing
eumesy
0
270
ライティング支援のための文法誤り訂正
chemical_tree
1
1k
Iterative source steering を用いたオンライン補助関数型独立ベクトル分析に基づくブラインド音源分離 / Blind source separation using online auxiliary-function-based independent vector analysis with iterative source steering
taishi
0
140
マイクロサービス型システムの監視におけるダッシュボードUI設計に起因する状況認識への影響 / Impact of Dashboard UI Design on Cognitive Accuracy and Load in Monitoring Microservice-based Systems
mokomoka
1
380
第12回チャンピオンズミーティング・アリエス杯ラウンド1集計 / Umamusume Aries 2022 Round1
kitachan_black
0
1.4k
大学研究者による事業提案制度(大学提案) 募集概要
tocho_zaiseika
0
2.8k
[ASRU 2021] Multi-stream HiFi-GAN with data-driven waveform decomposition
takuma_okamoto
0
140
論文読み会 AAAI2022 | Online Certification of Preference-based Fairness for Personalized Recommender Systems
cocomoff
0
210
GovTechとマーケットデザイン (渋谷区山室係長)
daimoriwaki
0
150
まだ生態学に本格導入されていない統計的因果推論手法の紹介:傾向スコア、回帰分断デザイン、操作変数法を中心に
takehikoihayashi
2
860
計算情報学研究室 (数理情報学第7研究室)紹介スライド
ssakaue
0
130
ABCIで回そう爆速深層学習 (基礎編)
yoshipon
11
5.5k
Featured
See All Featured
Building an army of robots
kneath
299
40k
Building Your Own Lightsaber
phodgson
94
4.6k
The Brand Is Dead. Long Live the Brand.
mthomps
45
2.7k
What's in a price? How to price your products and services
michaelherold
229
9.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.2k
Designing on Purpose - Digital PM Summit 2013
jponch
106
5.6k
Art, The Web, and Tiny UX
lynnandtonic
280
17k
Atom: Resistance is Futile
akmur
255
20k
Streamline your AJAX requests with AmplifyJS and jQuery
dougneiner
125
8.5k
Music & Morning Musume
bryan
35
4.2k
jQuery: Nuts, Bolts and Bling
dougneiner
56
6.4k
YesSQL, Process and Tooling at Scale
rocio
157
12k
Transcript
Learning Lexical Subspaces in a Distributional Vector Space Kushal Arora,
Aishik Chakraborty, Jackie C. K. Cheung TACL2020 相田太一 東京都立大学 小町研究室 最先端NLP
概要 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 2
導入 - 問題点:分布仮説は対義語を扱えない →制約を加えて単語ベクトルを修正する研究 ✅ 指定した意味的関係を扱えるようになる ❌ 元のベクトルが持つ情報が失われる (→下流タスクでの性能低下) ❌
複数の関係を扱うのが困難 (対義語:対称, 上位概念:非対称) 3
提案手法:LexSub - 解決方法:扱う情報ごとに空間を分ける - 分布の情報:元のベクトル空間 - 各意味的関係(対義語, 上位語, 部分):元のベクトル空間 から線形変換した
subspace 4
- 学習: - 変換行列 W を使い、各 subspace に変換 - 各関係を持つ単語セット
R で学習 - 類義語:単語ペアを近づける - 対義語:単語ペアを離す negative sampling 提案手法:各意味関係の subspace を学習 5 cos 距離 同じ subspace なので、同 じ変換行列 W syn を使う
- 上位語:非対称(✅ 🍎→果物, ❌ 果物→🍎) - 部分関係:非対称(✅ 🍁→🌲, ❌ 🌲→🍁)
negative sampling 片方 i は j に近づける (類義語 L syn ) 他方 j は i から離す (対義語 L ant ) 提案手法:各意味関係の subspace を学習 6
- 最終的な損失関数 各 subspace の 損失関数 提案手法:各意味関係の subspace を学習 7
事前訓練済み単語ベクトル行列 X と学 習過程の単語ベクトル行列 X’ の 二乗ノルム
実験:設定 - 内在的評価・外因的評価を行った - 内在的評価: - 類似度タスク(men3k, WS-353R) - 類義語・対義語(Simlex,
Simverb) - 上位語・下位語(Hyperlex, WBLESS, BIBLESS, BLESS, LEDS, EVAL, WEEDS) - 外因的評価:AllenNLP toolkit での入力層の埋め込みを 置き換える - 固有名詞抽出(NER) - 感情分類(SST) - 含意関係(SNLI) - 質問応答(SQuAD) - 言い換え検出(QQP) 8
実験:比較手法 - ベースライン:元のベクトルを直接調整 - Vanilla:GloVe - Wikipedia, Gigaword で事前訓練済み -
Retrofitting:近い単語を近づける訓練 - Counterfitting:Retrofitting + 対義語 - LEAR:上位語・下位語に対応 - 提案手法と共に以下の単語セットで調整 9
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 10
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 11 Counterfitting は対義語、LEAR
は上位語に対応した制約を加えて いるのが悪影響だった?
結果:内在的評価(上位語) - LexSub は上位語の subspace を使用 - 上位語特化の LEAR の性能を上回る
12
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - LexSub は元のベクトル空間を使用 - 多くのタスクでベースラインを上回る 13
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - 他の手法は Vanilla を下回る→ベクトル空間を分 けて意味関係を学習するのが効果的? 14
分析:3つの疑問について 1. LexSub の各 subspace は対応する意味関係を どの程度捉えているか? 2. LexSub の各
subspace は下流タスクにおける ニューラルなモデルで再現できるか? 3. LexSub の元の埋め込み空間は情報をどれだけ 保持しているか? 15
分析:各 subspace が 捉えている意味関係 - 各 query に対するそれぞれの周辺語 - それぞれの関係を捉えている?
16
分析:各 subspace が 捉えている意味関係 - Hyperlex, Simlex999 で 対義語、上位語、部分 関係を捉えるタスク
- LexSub の各 subspace がそれぞれ高性能 17
分析:各 subspace を 下流タスクのモデルで再現 - 類義語・対義語・上位語・部分関係を予測 - LexSub がベースラインを上回る→各subspace への線形変換をニューラルが再現?
18
分析:元々のベクトル空間 - 元のベクトルは情報を保持できているか? - Vanilla との二乗ノルム(=情報損失)を計算 - LexSub の損失はベースラインの 1/30
程度 →事前学習の情報を保持したまま各関係を学習 19
結論 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 20