Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop
Search
Atom
June 04, 2019
0
91
Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop
Atom
June 04, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
66
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
55
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
40
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.6k
Graph Convolutional Networks
roraidolaurent
0
190
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
47
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
74
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
81
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
170
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
11
4.6k
Rebuilding a faster, lazier Slack
samanthasiow
72
8.2k
The Brand Is Dead. Long Live the Brand.
mthomps
48
28k
YesSQL, Process and Tooling at Scale
rocio
163
13k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
The Language of Interfaces
destraynor
151
23k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
119
38k
Fashionably flexible responsive web design (full day workshop)
malarkey
397
65k
Designing with Data
zakiwarfel
95
4.8k
A designer walks into a library…
pauljervisheath
199
23k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
20
1.6k
Transcript
Conditional Word Embedding and Hypothesis Testing via Bayes-by-Backprop Rujun Han,
Michael Gill , Arthur Spirling, Kyunghyun Cho 文献紹介 2019/6/4 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pages 4890–4895 Brussels, Belgium, October 31 - November 4, 2018.
Abstract ・従来の単語埋め込みモデルは,文書メタデータからの情報を 活用しておらず,また不確実性をモデル化していない ・条件付き単語埋め込み分布を推定するために文書共変量を 組み込んだモデルを使用 ・用語の意味の評価,ある単語が異なる共変量値の別の単語に 近いか遠いかの評価,推定差が有意かどうかの評価が可能 2
1. Introduction ・単語の意味が文脈によって異なるかどうかは,近年のNLP, 言語学,社会科学の研究の主な焦点となっています ・例えば ”gay” は感情を表す単語から性的指向を表す単語へと 変わっていった ・従来の方法は,単語の分散を無視し,不確実性を考慮しておら ず,ノイズであるかどうか見分けるのかは困難
3
1. Introduction ・多層パーセプトロン(MLP)を使用して,文書の共変量の ベクトルを推定する ・Bayes-by-Backprop algorithm により埋め込みベクトルの 共分散行列をパラメータ化する ・Hotelling T2
統計を利用し,単語間の意味の近さを検定を行う ことができる. 4
2. ・近似ベイズニューラルネットワークでSGDにより変分ベイズ 法を行う ・MLPを用いて共分散行列をパラメータ化する ・条件付き単語ベクトルのおおよその事後不確定性を推定する際, Hotelling’s T2 により単語間仮説検定を行うことができる. 5
5. Experiments 6 ・データセット 1935年から2012年までの英国議会のスピーチ記録 ・各単語について周囲の6単語をコンテキストとする. ・埋め込みサイズは100 ・初期学習率0.05でAdagradを使用
5. Experiments 7 ・コサイン距離と共分散を考慮したベクトル間のKLDを比較 ・「通貨」,「イギリス」,「健康」,「貿易」,「労働」の 5つのシード単語を用意 ・130個の固有単語を取得
5. Experiments 8 ・KLDチャートはシードワードを中心にしてクラスタ化 ・共分散行列を組み込むと、ローカルコンテキスト内でのワードの有用な分離が行われる
6. Conclusion 9 ・2つのアイデアを組み合わせた不確実性を考慮した条件付き 単語埋め込みモデルを提案した. ・パラメータの不確実性を推定するための変分ベイズ学習 ・共変量を条件とした構造化埋め込み ・さまざまな形式の単語ベクトルの仮説検定に有効である