Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Segmentation-Free Word Embedding for Unsegmented Languages ∗
katsutan
August 27, 2018
Technology
1
75
Segmentation-Free Word Embedding for Unsegmented Languages ∗
文献紹介 勝田 哲弘
http://aclweb.org/anthology/D17-1080
katsutan
August 27, 2018
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
120
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
96
Simple task-specific bilingual word embeddings
katsutan
0
110
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
120
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
89
Improving Word Embeddings Using Kernel PCA
katsutan
0
120
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
120
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
140
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
180
Other Decks in Technology
See All in Technology
~スタートアップの人たちに捧ぐ~ 監視再入門 in AWS
track3jyo
PRO
32
8.6k
キャッチアップ Android 13 / Catch up Android 13
yanzm
2
1.1k
プロダクトグロースと技術のベースアップを両立させるRettyのアプリ開発スタイル / Achieve Product Growth and Tech Update
imaizume
1
290
HTTP Session Architecture Pattern
chiroito
1
400
THETA Xの登場はジオ業界を変えるか?
furuhashilab
0
160
Steps toward self-service operations in eureka
fukubaka0825
0
490
開発者のための GitHub Organization の安全な運用と 継続的なモニタリング
flatt_security
3
3.6k
runn is a package/tool for running operations following a scenario. / golang.tokyo #32
k1low
1
130
ドキュメントの翻訳に必要なこと
mayukosawai
0
160
Data-Driven Healthcare - Techplay
kotaroito
0
110
Who owns the Service Level?
chaspy
5
880
Embedded SRE at Mercari
tcnksm
0
810
Featured
See All Featured
Designing on Purpose - Digital PM Summit 2013
jponch
106
5.6k
How STYLIGHT went responsive
nonsquared
85
3.9k
What's new in Ruby 2.0
geeforr
336
30k
YesSQL, Process and Tooling at Scale
rocio
157
12k
Atom: Resistance is Futile
akmur
255
20k
Fantastic passwords and where to find them - at NoRuKo
philnash
25
1.5k
The World Runs on Bad Software
bkeepers
PRO
56
5.2k
How to name files
jennybc
39
58k
Ruby is Unlike a Banana
tanoku
91
9.2k
Agile that works and the tools we love
rasmusluckow
319
19k
10 Git Anti Patterns You Should be Aware of
lemiorhan
638
52k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
212
20k
Transcript
Segmentation-Free Word Embedding for Unsegmented Languages ∗ Takamasa Oshikiri Proceedings
of the 2017 Conference on Empirical Methods in Natural Language Processing, pages 767–772 長岡技術科学大学 自然言語処理研究室 修士1年 勝田 哲弘
Abstract • 単語分割されていない言語に対して、前処理として単語分割を必要としない単語ベ クトルの獲得方法の提案 ◦ segmentation-free word embedding • 基本的に、中国語や日本語のようにスペースで区切られない言語では単語の分割
が必要になるが、人手によるリソースが必要になる。 • 文字ngramによる共起情報をもとに分割を行い、Twitter、Weibo、Wikipediaでの 名詞カテゴリ予測タスクでは、従来のアプローチより優れていることが示されていま す。
Introduction • NLPでは大規模なコーパスから単語ベクトルを獲得するword embeddingが注目さ れている。前処理としてセグメントが必要。 ◦ 英語やスペイン語などの言語では、単純なルールベースと共起ベースのアプローチがとられる。 ◦ 中国語、日本語、タイ語などのセグメント化されていない言語では、機械学習ベースのアプローチ がNLPで広く使用されています。(
Kudo et al。、2004; Tseng et al。、2005) ▪ 辞書が必要、固有名詞が苦手 • 文字nグラムに基づいて可能なすべてのセグメント化を列挙し、共起頻度からnグラ ム・ベクトルを学習する 枠組みを提案
Related Work セグメントに依存しないモデル • character-based RNN model ◦ Dhingra et
al. (2016) • learns n-gram vectors from the corpus that segmented randomly ◦ Schütze (2017) これらの手法は、テキストまたは系列のベクトル表現を学習することを目的としている。
Conventional Approaches to Word Embeddings skip-gram model with negative sampling
(SGNS) (Mikolov et al., 2013) 以下の単語、コンテキストの目的関数を最小にするベクトルの学習を行う。
Segmentation-Free Word Embeddings segmentation-free version of the SGNS • コーパスの頻繁な文字nグラムに基づくすべての可能なセグメントを表すnグラム格
子を構築する。(ラティス構造) • 頻繁なnグラム格子上の共起統計を用いてnグラムベクトルを学習する。
Experiment Twitter、Weibo、Wikipediaのコーパスにおける名詞カテゴリ予測タスクを用いて評価す る。 • Wikipedia (Japanese), Wikipedia (Chinese), Twitter (Japanese),
and Weibo (Chinese) • ngram = 1-8 for Japanese • ngram = 1-7 for Chinese • C-SVM(Hastie et al., 2009)
Results
Conclusion • 人手でアノテーションされたリソースに依存しない手法でその リソースに依存する手法を上回った。 • 将来的には別の手法を活用する ◦ the Stanford Word
Segmenter (Tseng et al., 2005) with k-best segmentations