Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Improving Word Embeddings Using Kernel PCA
katsutan
September 17, 2019
Technology
0
120
Improving Word Embeddings Using Kernel PCA
文献紹介
https://www.aclweb.org/anthology/W19-4323
長岡技術科学大学
勝田 哲弘
katsutan
September 17, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
120
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
96
Simple task-specific bilingual word embeddings
katsutan
0
110
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
120
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
89
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
120
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
140
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
180
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
katsutan
0
140
Other Decks in Technology
See All in Technology
⚡Lightdashを試してみた
k_data_analyst
0
190
TypeScript 4.7と型レベルプログラミング
uhyo
6
3.4k
スタートアップ入社4日目までに考えたAWSのセキュリティ向上/ Startup AWS Security
shonansurvivors
3
2.9k
Graph API について
miyakemito
0
200
動画配信技術について
yaminoma
0
210
ニフティでSRE推進活動を始めて取り組んできたこと
niftycorp
2
280
mROS 2のススメ
takasehideki
0
290
20220510_簡単にできるコスト異常検出(Cost Anomaly Detection) /jaws-ug-asa-cost-anomaly-detection-20220510
emiki
2
320
YAMLを書くだけで構築できる分散ストレージ
sat
PRO
0
180
SRENEXT2022 組織にSREを実装していくまでの道のり
marnie0301
1
300
Devに力を授けたいSREのあゆみ / SRE that wants to empower developers
tocyuki
3
470
0->1 フェーズで E2E 自動テストを導入した私たちの、これまでとこれから
yoyakoba
0
160
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
56
2.3k
Creatively Recalculating Your Daily Design Routine
revolveconf
205
10k
BBQ
matthewcrist
74
7.9k
How to Ace a Technical Interview
jacobian
265
21k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
103
16k
Become a Pro
speakerdeck
PRO
3
780
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
172
8.3k
Producing Creativity
orderedlist
PRO
333
37k
What the flash - Photography Introduction
edds
61
9.9k
Teambox: Starting and Learning
jrom
121
7.6k
Designing the Hi-DPI Web
ddemaree
272
32k
Facilitating Awesome Meetings
lara
29
3.9k
Transcript
IMPROVING WORD EMBEDDINGS USING KERNEL PCA 文献紹介 長岡技術科学大学 勝田 哲弘
ABSTRACT トレーニング時間を短縮し、パフォーマンスを向上させるために、 morphological information を考慮した埋め込みモデルのための新しいアプローチ 単語類似度行列のカーネル主成分分析(KPCA)で得られる単語のmorphological informationで強化
英語とドイツ語の単語の類似性と類推のタスクでモデルを評価 元のスキップグラムモデルとfastTextモデルよりも高い精度を達成 必要なトレーニングデータと時間も大幅に減少 2
INTRODUCTION Word embeddingでよく用いられる手法 Word2vec-skipgram fastText fastTextはサブワードを考慮することで低頻度語をある程度改善できる
しかし、ニュースなどに出てくる新しい単語などは失敗する場合が多い 語彙が時間の経過で変化するデータセット内でうまく機能するアプローチの 提案 3
KPCA-BASED SKIP-GRAM AND FASTTEXT MODELS 単語類似度行列でKPCAを使用した埋め込み事前学習 語彙内の単語に対して文字列の類似度を計算し類似度行列を生成
単語、サブワード埋め込みをKPCAで初期化 意味的に類似した単語は、 roots, affixes, syllablesなどの一般的な形態素 をしばしば共有する morphologically richな言語で特に役立つ 4
KERNEL PCA ON STRING SIMILARITIES 語彙V内の単語w、文字列の類似度関数S(n-gram similarity)、非線形カーネル関 数K(ガウス)で単語類似度行列を計算
Kの列ベクトルkiはwiの| V |次元表現と見なすことができるため、V次元のwiの 単語の特徴空間表現が得られる PCAによって単語ベクトルを低次元空間に投影 最も高い固有値λ1からλdに対応するd個の固有ベクトルv1からvdを選択 5
MODELS WITH KPCA EMBEDDING 語彙Vを制限して、テキストコーパスの最も頻繁な単語のみを含める Vに含まれない単語snewは、カーネルベクトルを用いて計算 Semanticな情報を考慮するためword2vec、fastTextに組み込む
fastTextではサブワードのベクトル表現も同様に計算して使用 6
EXPERIMENTAL RESULTS -DATASET 様々なサイズのデータセットでトレーニングしたモデルのパフォーマンスを評価 評価 単語とそれらの関係の間のセマンティックおよび構文の類似性の計算を含む単語類推タスク
文分類タスクなどの後続の処理で埋め込みがどの程度機能するか 7
EXPERIMENTAL RESULTS 大きなデータセットで訓練されると、単純なモデルで単語間の非常に微妙な関係に答えることができる 8
EXPERIMENTAL RESULTS 小さなデータセットのみでトレーニングされでも、KPCAで高品質な単語埋め込みを生成可能 9
EVALUATION OF PERFORMANCE ON DOWNSTREAM APPLICATIONS 埋め込みモデルから取得した埋め込みを使用してCNNを初期化、トレーニング中の埋め込み層を固定 10
CONCLUSION KPCAを用いた単語埋め込みの改善手法を提案 KPCAの対象となる小さな語彙から計算された文字列類似度行列に基づいた単語の埋め込みを生成 単語のKPCAベースのベクトル表現をskipgramモデルへの入力として使用して、単語の文脈も考慮し た埋め込みを取得 KPCAを用いることで:
word similarityやword analogyの改善 より少ないデータセット、エポック数でも学習が可能 11