Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ACL読み会@PFI “How to make words with vectors: Phrase generation in distributional semantics”
Search
Yuya Unno
July 12, 2014
Research
0
9
ACL読み会@PFI “How to make words with vectors: Phrase generation in distributional semantics”
Yuya Unno
July 12, 2014
Tweet
Share
More Decks by Yuya Unno
See All by Yuya Unno
深層学習で切り拓くパーソナルロボットの未来 @東京大学 先端技術セミナー 工学最前線
unnonouno
0
11
深層学習時代の自然言語処理ビジネス @DLLAB 言語・音声ナイト
unnonouno
0
23
ベンチャー企業で言葉を扱うロボットの研究開発をする @東京大学 電子情報学特論I
unnonouno
0
16
PFNにおけるセミナー活動 @NLP2018 言語処理研究者・技術者の育成と未来への連携WS
unnonouno
0
4
進化するChainer @JSAI2017
unnonouno
0
7
予測型戦略を知るための機械学習チュートリアル @BigData Conference 2017 Spring
unnonouno
0
3
深層学習フレームワーク Chainerとその進化
unnonouno
0
7
深層学習による機械とのコミュニケーション @DeNA TechCon 2017
unnonouno
0
16
最先端NLP勉強会 “Learning Language Games through Interaction” @第8回最先端NLP勉強会
unnonouno
0
3
Other Decks in Research
See All in Research
10-ot-generic-bio.pdf
gpeyre
0
140
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
tsurubee
0
380
Source Code Diff Revolution (JetBrains Open Reading Club)
tsantalis
0
290
媒介分析と疫学
kingqwert
0
110
Evolutionary Optimization ofModel Merging Recipes (2024/04/17, NLPコロキウム)
iwiwi
9
3.2k
東工大Swallowプロジェクトにおける大規模日本語Webコーパスの構築
aya_se
13
6.8k
論文紹介 DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction / DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction
nttcom
0
130
Deep State Space Models 101 / Mamba
kurita
9
3.6k
クリック率を最大化しない推薦システム
joisino
42
14k
Weekly AI Agents News!
masatoto
12
3.6k
Alternative Photographic Processes Reimagined: The Role of Digital Technology in Revitalizing Classic Printing Techniques【SIGGRAPH Asia 2023】
toremolo72
0
440
Generative AI - practice and theory
gpeyre
1
590
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
176
21k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Build your cross-platform service in a week with App Engine
jlugia
226
17k
The Art of Programming - Codeland 2020
erikaheidi
43
12k
KATA
mclloyd
16
12k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Large-scale JavaScript Application Architecture
addyosmani
504
110k
What's new in Ruby 2.0
geeforr
337
31k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
65
14k
Typedesign – Prime Four
hannesfritz
36
2.1k
Raft: Consensus for Rubyists
vanstee
133
6.3k
Designing for humans not robots
tammielis
248
25k
Transcript
ACL読み会@PFI “How to make words with vectors: Phrase generation in
distributional semantics” 株式会社Preferred Infrastructure 海野 裕也 (@unnonouno) 2014/07/12 ACL読み会@PFI
要旨 l 複合語の合成・分解過程を学習する l 学習された合成・分解過程によって、既存の単語や複合 語から、新規の複合語を⽣生成できるようにする l 学習は既知のベクトル表現を⽣生成できるような⾏行行列列を計 算するだけ(簡単) l
⾔言語横断の実験もしている 2
フレーズベクトルの⽣生成 l 前提として単語やフレーズにはベクトルが割り当てられ るとする l 単語uと単語vのベクトルから、フレーズuvのベクトルp を⽣生成する関数 f comp を考える
l uとvを並べた2d次元のベクトルに、⾏行行列列Wをかけたらp ができることにする 3
4 u v W p = X
⽣生成関数の学習 l 単語uと単語vと、フレーズpのベクトルが沢⼭山わかって るとする l 学習データ中で誤差が最⼩小になるような⾏行行列列Wを求める l 全体を⾏行行列列で書くと上の式 5 簡単!
フレーズベクトルの分解 l ベクトルpを持つ2単語からなるフレーズから、単語uと 単語vのベクトルに分解する関数f decomp を考える l pに⾏行行列列W’をかけたらuとvをつなげたベクトルができる とかんがえる 6
分解⾏行行列列の学習 l 同じように、学習事例例中での誤差が最⼩小になるように W’を解く (2)式 l フレーズのベクトルPがなくても、WからW’を学習する こともできる (3)式 l Wの学習にPが必要だから、これは意味あるのか? 7
簡単!
再帰的なフレーズの処理理 l フレーズは段階的に合成関数を適⽤用する l このとき、品詞対毎に合成関数は⽤用意する l 後の実験で出る通り、今回扱うのは名詞:N、形容詞:A、前置 詞:Pの3つ 8 big
red car =
実験 l 学習した関数(⾏行行列列)を使って、フレーズの分解と合成 を⾏行行う l 単語とフレーズのベクトルは2種類を⽐比較する l cbow: Mikolovのword2vecを使って作ったベクトル l
count: 出現頻度度で作ったナイーブなベクトル l 名詞(N)と形容詞(A)は2万個、前置詞(P)は25個使う 9
⽣生成と分解の実験 l 数字は正解単語のランクの中央値 l 上:A+NàNは合成の予備実験 l 下:NàA+Nは分解の実験 l いずれもcbowの結果が劇的に良良い 10
⼤大体11番⽬目に正解が来る ということ
実例例 l 間違いではないものも多い l religious religionのように、同じ意味の語の繰り返しに なることも・・・ 11
複合語から複合語を⽣生成する実験 l ANからNPNを⽣生成する l やはり意味的に正しいものは多い l 評価⽅方法の限界? 12
英伊で⾔言語横断の複合語作成 l ⾔言語間のベクトルの写像は、少数の既知単語対から学習 l 同⼀一品詞間なので正解率率率は⾼高め 13
まとめ l 意味の合成・分解を単純な⾏行行列列の掛け算でモデル化 l 既知ベクトルから、合成・分解過程を学習する l ⽅方法は簡単だが、結果を⾒見見ると⽅方針としては筋が良良さそ う 感想 l
簡単なので実装しようと思ったが時間なかった l 単語ベクトルが意味の合成・分解に有⽤用そうなことを⽰示 しているが、⼿手法が安易易なのでもう少し⼯工夫したい 14