Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介: Generalizing Word Embeddings using Bag of...
Search
Yumeto Inaoka
September 26, 2018
Research
0
240
文献紹介: Generalizing Word Embeddings using Bag of Subwords
2018/09/26の文献紹介で発表
Yumeto Inaoka
September 26, 2018
Tweet
Share
More Decks by Yumeto Inaoka
See All by Yumeto Inaoka
文献紹介: Quantity doesn’t buy quality syntax with neural language models
yumeto
1
190
文献紹介: Open Domain Web Keyphrase Extraction Beyond Language Modeling
yumeto
0
240
文献紹介: Self-Supervised_Neural_Machine_Translation
yumeto
0
160
文献紹介: Comparing and Developing Tools to Measure the Readability of Domain-Specific Texts
yumeto
0
170
文献紹介: PAWS: Paraphrase Adversaries from Word Scrambling
yumeto
0
160
文献紹介: Beyond BLEU: Training Neural Machine Translation with Semantic Similarity
yumeto
0
280
文献紹介: EditNTS: An Neural Programmer-Interpreter Model for Sentence Simplification through Explicit Editing
yumeto
0
340
文献紹介: Decomposable Neural Paraphrase Generation
yumeto
0
230
文献紹介: Analyzing the Limitations of Cross-lingual Word Embedding Mappings
yumeto
0
230
Other Decks in Research
See All in Research
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
20250725-bet-ai-day
cipepser
2
420
利用シーンを意識した推薦システム〜SpotifyとAmazonの事例から〜
kuri8ive
1
250
[輪講] SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features
nk35jk
2
980
近似動的計画入門
mickey_kubo
4
1k
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
110
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
530
MetaEarth: A Generative Foundation Model for Global-Scale Remote Sensing Image Generation
satai
4
190
数理最適化に基づく制御
mickey_kubo
6
730
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
190
AIによる画像認識技術の進化 -25年の技術変遷を振り返る-
hf149
7
4k
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
230
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Making the Leap to Tech Lead
cromwellryan
135
9.5k
Designing Experiences People Love
moore
142
24k
Bash Introduction
62gerente
615
210k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Facilitating Awesome Meetings
lara
55
6.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.9k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.7k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
810
Transcript
Generalizing Word Embeddings using Bag of Subwords 文献紹介 ( 2018
/ 09 / 26 ) 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
Literature Jinman Zhao and Sidharth Mudgal and Yingyu Liang. Proceedings
of the 2018 Conference on Empirical Methods in Natural Language Processing. https://arxiv.org/abs/1809.04259 2
Abstract • 文脈情報を用いずに語彙を超えて事前学習済みの Word Embeddingを汎化 • 単語をBag-of-Substringsと見做して subwordレベルの単語ベクトル生成モデルを提案 • 英単語類似度タスクでSOTAを達成
3
Word Embeddings in OOV ➔ 従来のWord Embeddingsは高頻度な単語にのみ 単語ベクトルを生成し、低頻度語をOOVとする ➔ 低頻度語には単語ベクトルを生成できない
➔ 下流のタスクで特徴が補足できず困難 4
Word Vectors for OOV words • 単語は語幹, 接辞, 修飾語など形態素に分割できる •
人間は例えば“preEMNLP”の意味を推察できる ➔ 形態素からベクトルを推測できる可能性を示唆 ➔ OOV wordsでも単語以下の単位で解析すれば 単語ベクトルを推測できる可能性がある 5
Related Works • fastText char n-gramを用いてOOVの単語のベクトルを生成 学習には大規模なコーパスが必要 (今回はenwiki) • Mimick
Char-level Bi-LSTMでChar Embeddingから Word Embeddingを推測 6
Proposed Model • 単語をBag-of-Substringsとみなす • 単語ベクトルは全部分文字列のベクトルの平均 • それを事前学習されたベクトルと一致させる学習 ➔ 文脈予測を介さずにsubwordsを学習させる
fastTextと似ているようで異なる 7
Substring Σ is the finite set of characters in the
language. 8
“<s>” = ‘<’ + s + ‘>’ Substring 9 are
hyperparameters.
Substring (example) 10 { <in, <inf, inf, infi, nfi, nfix,
fix, fix>, ix> }
Bag-of-Substring 11
Target vectors Training 12
Experiment (Word Similarity) • 単語ベクトルの類似度と、ラベル付けされた 単語類似度の相関によって評価 • 類似度は単語ベクトル間のコサイン類似度で計算 • 相関はスピアマンの順位相関係数ρで計算
13
Datasets (Word Similarity) • Polyglot, Googleは学習済み単語ベクトル • Stanford RareWord(RW)とWordSim353(WS)で評価 RWは低頻度語が多く、WSは一般的な語が多い
14
Results (Word Similarity) • BoSはEditDist, MIMICKよりも相関が強い • Googleのベクトルを用いたときにfastTextと同等 15
BoS vs. fastText • BoSの方が少ないデータ、訓練で実現 • Intel Core i7-6700 (3.4GHz)
において、 BoSはシングルスレッドのPythonで352秒 fastTextはマルチスレッドのC++で数時間 16
Expt. (syntax, semantics) • POS tags, Morphosyntactic Attributesを予測するタ スクでベクトルを評価 →
構文的、意味的特徴の補足を確認 • データセットはUniversal Dependencies (UD) • Bi-LSTMで予測 17
Result (syntax, semantics) • すべての言語で 安定して有意な 結果 • 膠着語で特に 差が大きい
18
Conclusion • 事前学習済みのWord Embeddingを拡張してOOV単 語のWord Embeddingを推定するモデルを提案 • 単語類似度タスクとPOSタグ付けタスクによって形態 論的知識の補足、より良いOOV単語の単語 ベクトルの生成を確認
19