Slide 10
Slide 10 text
分散表現
n 深層学習で用いられる技術(※ニューラルネット)を用い,
言葉の「意味」的な近さを表現できる技術
u 従来の手法では,「みかん」と「ミカン」は独立したものとして
扱うか,人力で辞書を作って近さを表現する必要
u 分散表現を使うと,大量のデータから「みかん」と「ミカン」
「オレンジ」「柑橘類」を似たようなものとして学習し,
数値的に表現可能
n 考え方
u 有る単語の周りに出てくる単語を学習して穴埋め問題を解く
p 「大学の構内に入るとXXが歩いてきたので,声をかけてみた。」
p XX= 友達 30%,女の子 30%,先生 20%,猫 10%,机 0%…
10
代表的ツール;Word2Vec, FastText