Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ACL読み会@PFI “How to make words with vectors: Phr...
Search
Yuya Unno
July 12, 2014
Research
0
17
ACL読み会@PFI “How to make words with vectors: Phrase generation in distributional semantics”
Yuya Unno
July 12, 2014
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
18
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
38
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
34
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
9
進化するChainer @JSAI2017
unnonouno
0
18
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
13
深層学習フレームワーク Chainerとその進化
unnonouno
0
16
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
25
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
12
Other Decks in Research
See All in Research
地域丸ごとデイサービス「Go トレ」の紹介
smartfukushilab1
0
120
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
320
20250624_熊本経済同友会6月例会講演
trafficbrain
1
680
20250725-bet-ai-day
cipepser
2
480
日本語新聞記事を用いた大規模言語モデルの暗記定量化 / LLMC2025
upura
0
240
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
960
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
370
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
660
Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping
satai
3
210
Sat2City:3D City Generation from A Single Satellite Image with Cascaded Latent Diffusion
satai
3
130
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
750
Towards a More Efficient Reasoning LLM: AIMO2 Solution Summary and Introduction to Fast-Math Models
analokmaus
2
910
Featured
See All Featured
A designer walks into a library…
pauljervisheath
209
24k
4 Signs Your Business is Dying
shpigford
185
22k
The Illustrated Children's Guide to Kubernetes
chrisshort
49
51k
Thoughts on Productivity
jonyablonski
70
4.9k
How STYLIGHT went responsive
nonsquared
100
5.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
115
20k
Why Our Code Smells
bkeepers
PRO
340
57k
For a Future-Friendly Web
brad_frost
180
9.9k
Practical Orchestrator
shlominoach
190
11k
Navigating Team Friction
lara
190
15k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Optimizing for Happiness
mojombo
379
70k
Transcript
ACL読み会@PFI “How to make words with vectors: Phrase generation in
distributional semantics” 株式会社Preferred Infrastructure 海野 裕也 (@unnonouno) 2014/07/12 ACL読み会@PFI
要旨 l 複合語の合成・分解過程を学習する l 学習された合成・分解過程によって、既存の単語や複合 語から、新規の複合語を⽣生成できるようにする l 学習は既知のベクトル表現を⽣生成できるような⾏行行列列を計 算するだけ(簡単) l
⾔言語横断の実験もしている 2
フレーズベクトルの⽣生成 l 前提として単語やフレーズにはベクトルが割り当てられ るとする l 単語uと単語vのベクトルから、フレーズuvのベクトルp を⽣生成する関数 f comp を考える
l uとvを並べた2d次元のベクトルに、⾏行行列列Wをかけたらp ができることにする 3
4 u v W p = X
⽣生成関数の学習 l 単語uと単語vと、フレーズpのベクトルが沢⼭山わかって るとする l 学習データ中で誤差が最⼩小になるような⾏行行列列Wを求める l 全体を⾏行行列列で書くと上の式 5 簡単!
フレーズベクトルの分解 l ベクトルpを持つ2単語からなるフレーズから、単語uと 単語vのベクトルに分解する関数f decomp を考える l pに⾏行行列列W’をかけたらuとvをつなげたベクトルができる とかんがえる 6
分解⾏行行列列の学習 l 同じように、学習事例例中での誤差が最⼩小になるように W’を解く (2)式 l フレーズのベクトルPがなくても、WからW’を学習する こともできる (3)式 l Wの学習にPが必要だから、これは意味あるのか? 7
簡単!
再帰的なフレーズの処理理 l フレーズは段階的に合成関数を適⽤用する l このとき、品詞対毎に合成関数は⽤用意する l 後の実験で出る通り、今回扱うのは名詞:N、形容詞:A、前置 詞:Pの3つ 8 big
red car =
実験 l 学習した関数(⾏行行列列)を使って、フレーズの分解と合成 を⾏行行う l 単語とフレーズのベクトルは2種類を⽐比較する l cbow: Mikolovのword2vecを使って作ったベクトル l
count: 出現頻度度で作ったナイーブなベクトル l 名詞(N)と形容詞(A)は2万個、前置詞(P)は25個使う 9
⽣生成と分解の実験 l 数字は正解単語のランクの中央値 l 上:A+NàNは合成の予備実験 l 下:NàA+Nは分解の実験 l いずれもcbowの結果が劇的に良良い 10
⼤大体11番⽬目に正解が来る ということ
実例例 l 間違いではないものも多い l religious religionのように、同じ意味の語の繰り返しに なることも・・・ 11
複合語から複合語を⽣生成する実験 l ANからNPNを⽣生成する l やはり意味的に正しいものは多い l 評価⽅方法の限界? 12
英伊で⾔言語横断の複合語作成 l ⾔言語間のベクトルの写像は、少数の既知単語対から学習 l 同⼀一品詞間なので正解率率率は⾼高め 13
まとめ l 意味の合成・分解を単純な⾏行行列列の掛け算でモデル化 l 既知ベクトルから、合成・分解過程を学習する l ⽅方法は簡単だが、結果を⾒見見ると⽅方針としては筋が良良さそ う 感想 l
簡単なので実装しようと思ったが時間なかった l 単語ベクトルが意味の合成・分解に有⽤用そうなことを⽰示 しているが、⼿手法が安易易なのでもう少し⼯工夫したい 14