Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Learning Lexical Subspaces in a Distributi...
Search
Taichi Aida
September 16, 2021
Research
0
320
文献紹介:Learning Lexical Subspaces in a Distributional Vector Space
最先端NLP2021
Learning Lexical Subspaces in a Distributional Vector Space(TACL2020)
相田太一
都立大 小町研
Taichi Aida
September 16, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
1
190
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
290
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
210
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
340
新入生向けチュートリアル:文献のサーベイv2
a1da4
15
10k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
180
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
260
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
100
新入生向けチュートリアル:文献のサーベイ
a1da4
0
470
Other Decks in Research
See All in Research
A multimodal data fusion model for accurate and interpretable urban land use mapping with uncertainty analysis
satai
3
220
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
480
業界横断 副業・兼業者の実態調査
fkske
0
160
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
6
3.4k
NLP2025参加報告会 LT資料
hargon24
1
320
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
480
NLP2025SharedTask翻訳部門
moriokataku
0
300
NLP2025 WS Shared Task 文法誤り訂正部門 ehiMetrick
sugiyamaseiji
0
190
rtrec@dbem6
myui
6
860
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
660
生成的推薦の人気バイアスの分析:暗記の観点から / JSAI2025
upura
0
180
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
810
Featured
See All Featured
Fireside Chat
paigeccino
37
3.5k
Done Done
chrislema
184
16k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.5k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Visualization
eitanlees
146
16k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Measuring & Analyzing Core Web Vitals
bluesmoon
7
490
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Transcript
Learning Lexical Subspaces in a Distributional Vector Space Kushal Arora,
Aishik Chakraborty, Jackie C. K. Cheung TACL2020 相田太一 東京都立大学 小町研究室 最先端NLP
概要 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 2
導入 - 問題点:分布仮説は対義語を扱えない →制約を加えて単語ベクトルを修正する研究 ✅ 指定した意味的関係を扱えるようになる ❌ 元のベクトルが持つ情報が失われる (→下流タスクでの性能低下) ❌
複数の関係を扱うのが困難 (対義語:対称, 上位概念:非対称) 3
提案手法:LexSub - 解決方法:扱う情報ごとに空間を分ける - 分布の情報:元のベクトル空間 - 各意味的関係(対義語, 上位語, 部分):元のベクトル空間 から線形変換した
subspace 4
- 学習: - 変換行列 W を使い、各 subspace に変換 - 各関係を持つ単語セット
R で学習 - 類義語:単語ペアを近づける - 対義語:単語ペアを離す negative sampling 提案手法:各意味関係の subspace を学習 5 cos 距離 同じ subspace なので、同 じ変換行列 W syn を使う
- 上位語:非対称(✅ 🍎→果物, ❌ 果物→🍎) - 部分関係:非対称(✅ 🍁→🌲, ❌ 🌲→🍁)
negative sampling 片方 i は j に近づける (類義語 L syn ) 他方 j は i から離す (対義語 L ant ) 提案手法:各意味関係の subspace を学習 6
- 最終的な損失関数 各 subspace の 損失関数 提案手法:各意味関係の subspace を学習 7
事前訓練済み単語ベクトル行列 X と学 習過程の単語ベクトル行列 X’ の 二乗ノルム
実験:設定 - 内在的評価・外因的評価を行った - 内在的評価: - 類似度タスク(men3k, WS-353R) - 類義語・対義語(Simlex,
Simverb) - 上位語・下位語(Hyperlex, WBLESS, BIBLESS, BLESS, LEDS, EVAL, WEEDS) - 外因的評価:AllenNLP toolkit での入力層の埋め込みを 置き換える - 固有名詞抽出(NER) - 感情分類(SST) - 含意関係(SNLI) - 質問応答(SQuAD) - 言い換え検出(QQP) 8
実験:比較手法 - ベースライン:元のベクトルを直接調整 - Vanilla:GloVe - Wikipedia, Gigaword で事前訓練済み -
Retrofitting:近い単語を近づける訓練 - Counterfitting:Retrofitting + 対義語 - LEAR:上位語・下位語に対応 - 提案手法と共に以下の単語セットで調整 9
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 10
結果:内在的評価(類似度) - LexSub は元のベクトル空間を使用 - subspace を学習しつつ、訓練時の情報を保持 11 Counterfitting は対義語、LEAR
は上位語に対応した制約を加えて いるのが悪影響だった?
結果:内在的評価(上位語) - LexSub は上位語の subspace を使用 - 上位語特化の LEAR の性能を上回る
12
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - LexSub は元のベクトル空間を使用 - 多くのタスクでベースラインを上回る 13
結果:外因的評価 微調整あり(Setup 1)、なし(Setup 2) - 他の手法は Vanilla を下回る→ベクトル空間を分 けて意味関係を学習するのが効果的? 14
分析:3つの疑問について 1. LexSub の各 subspace は対応する意味関係を どの程度捉えているか? 2. LexSub の各
subspace は下流タスクにおける ニューラルなモデルで再現できるか? 3. LexSub の元の埋め込み空間は情報をどれだけ 保持しているか? 15
分析:各 subspace が 捉えている意味関係 - 各 query に対するそれぞれの周辺語 - それぞれの関係を捉えている?
16
分析:各 subspace が 捉えている意味関係 - Hyperlex, Simlex999 で 対義語、上位語、部分 関係を捉えるタスク
- LexSub の各 subspace がそれぞれ高性能 17
分析:各 subspace を 下流タスクのモデルで再現 - 類義語・対義語・上位語・部分関係を予測 - LexSub がベースラインを上回る→各subspace への線形変換をニューラルが再現?
18
分析:元々のベクトル空間 - 元のベクトルは情報を保持できているか? - Vanilla との二乗ノルム(=情報損失)を計算 - LexSub の損失はベースラインの 1/30
程度 →事前学習の情報を保持したまま各関係を学習 19
結論 - 単語の語彙・意味的な関係(類義語、上位語な ど)を単語ベクトル空間から変換した subspace で表現 - 元のベクトル空間の情報を保持したまま内在・外 因的評価で既存の手法を上回る 20