Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
A robust self-learning method for fully unsuper...
Search
katsutan
June 19, 2019
Technology
0
270
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田 哲弘
katsutan
June 19, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
200
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
190
Simple task-specific bilingual word embeddings
katsutan
0
200
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
230
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
180
Improving Word Embeddings Using Kernel PCA
katsutan
0
200
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
290
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
250
DSGAN: Generative Adversarial Training for Distant Supervision Relation Extraction
katsutan
0
250
Other Decks in Technology
See All in Technology
Amazon DevOps Guru のベースラインを整備して1ヶ月ほど運用してみた #jawsug_asa / Amazon DevOps Guru trial
masahirokawahara
3
210
Vibe Codingの裏で、 考える力をどう取り戻すか
csekine
0
310
AIエージェント実践集中コース LT
okaru
1
190
セキュリティSaaS企業が実践するCursor運用ルールと知見 / How a Security SaaS Company Runs Cursor: Rules & Insights
tetsuzawa
1
2.7k
Java 30周年記念! Javaの30年をふりかえる
skrb
4
2.6k
これならできる!Kotlin・Spring・DDDを活用したAll in oneのマイクロサービス開発術
demaecan
0
110
メルカリにおけるデータアナリティクス AI エージェント「Socrates」と ADK 活用事例
na0
15
7.2k
やさしいClaude Code入門
minorun365
PRO
40
32k
Oracle Cloud Infrastructure IaaS 新機能アップデート 2025/03 - 2025/05
oracle4engineer
PRO
1
130
DevOpsDays Taipei 2025 -- Creating Awesome Change in SmartNews!
martin_lover
0
200
現場で役立つAPIデザイン
nagix
1
170
Bill One 開発エンジニア 紹介資料
sansan33
PRO
4
12k
Featured
See All Featured
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
4 Signs Your Business is Dying
shpigford
183
22k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
760
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Being A Developer After 40
akosma
91
590k
Rails Girls Zürich Keynote
gr2m
94
13k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
How to train your dragon (web standard)
notwaldorf
92
6.1k
Documentation Writing (for coders)
carmenintech
71
4.8k
Producing Creativity
orderedlist
PRO
346
40k
Automating Front-end Workflow
addyosmani
1370
200k
Transcript
A robust self-learning method for fully unsupervised cross-lingual mappings of
word embeddings Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Long Papers), pages 789–798, 2018. 文献紹介 長岡技術科学大学 自然言語処理研究室 勝田 哲弘
Abstract • 先行研究でadversarial trainingによって教師なしで複数言語の分散表現を 共有することが可能になった ◦ 良い精度 ◦ しかし、評価は非常に近い単語間でのみ行われている •
より堅牢なモデルの提案 ◦ 単語分散表現の構造的類似性を明示的に活用する完全に教師なしの初期化 ◦ iterative self-learningに基づく代替アプローチ 実装は以下で公開されている https://github.com/artetxem/vecmap 2
Introduction • Cross-lingual embedding mappings ◦ 単一言語コーパスを使用して異なる言語ごとに分散表現を個別に訓練し、線形変換によっ て共有空間にマッピングする ▪ 辞書を必要とするものがほとんど
▪ 最近、adversarial trainingで教師なしが可能に ◦ iterative self-learningは非常に小さい辞書( 25対の単語程)からの高品質なマッピングが可 能 (Artetxe et al., 2017) • 単語類似度の分布をもとに初期解を構築 ◦ 教師なし 3
Proposed method • XW X = ZW Z となるようにW X
,W Z を学習 X,Z:各言語の分散表現 ◦ 1: 分散表現の初期化、前処理 ◦ 2: 初期解を生成 ◦ 3: self-learningを繰り返して解を改善 ◦ 4: 得られるマッピングをさらに改善する最終的な改良 4 init_dict map dict
Embedding normalization 前処理 ベクトルの長さを正規化 ↓ 各次元の兵権を中心に揃える ↓ 再び、長さを正規化 内積を取るとcos類似度が計算できる ユークリッド距離が類似度の尺度とみなせる
5
Fully unsupervised initialization • それぞれの語彙を対応させる最初の辞書 ◦ M X == XXT,
M Z = ZZT の間で一致を見つける 6
Robust self-learning 学習は収束するまで次の2つのステップを繰り返す • 現在の辞書Dを最大化する直交マッピングを計算 • 最近傍検索 ◦ 7
Robust self-learning • Stochastic dictionary induction ◦ 類似度行列を確率pで保持、残りを0にする ◦ p
= 0.1から徐々に増やす • Frequency-based vocabulary cutoff ◦ 各言語で高頻度のk単語に制限 • CSLS retrieval ◦ k最近傍の平均コサイン類似度 • Bidirectional dictionary induction 8
Symmetric re-weighting • それぞれの相互相関に従って再加重 9
Experimental settings 対訳辞書抽出の精度を評価 Dinu et al. (2015),subsequent extensions of Artetxe
et al. (2017, 2018) • 分散表現(CBOW: 300-dimension) ◦ WacKy crawling corpora (English, Italian, German) ◦ Common Crawl (Finnish) ◦ WMT News Crawl (Spanish) Zhang et al. (2017a) • 分散表現(CBOW: 50-dimension) ◦ Wikipedia 10
Results 11
Results 12
Ablation test 13
Conclusions • self-learningと初期の弱いマッピング手法を組み合わせたモデルの提案 ◦ 教師なし、ハイパーパラメータに強く依存しない • 教師なし、教師つきマッピングに関する以前の研究と比較して最良の結果を 示した • 将来的には、バイリンガルからマルチリンガルへと拡張し、さらに長いフレー
ズを埋め込む 14