slide

test

Transcript

1. Twitterとword2vecを用いた 自然言語処理(仮)
2. Twitterとword2vecを用いた 自然言語処理
3. Twitterとword2vecを用いた 自然言語処理
4. Twitterとword2vecを用いた 自然言語処理
5. word2vecとは • Googleのすごいひとが作った • 文章を食べさせてあげると単語をベクトルで表現できる • Neural Network
6. word2vecでできること • ベクトルは計算できる つまり単語同士の演算ができるようになる ex) 日本 + 首都 -> 東京
7. word2vecでできること • ベクトルの内積を取ると単語同士の類似度を測れる – なす角θが小さいほど似たベクトルになる – cos(0) = 1 – cos(π) = -1
8. やってみよう
9. 某恋愛AVGのシナリオを word2vecに食べさせる • 某ゲームのシナリオファイルをword2vecに食べさせる • 単語を与えると類似した単語が出てくる
11. 考察 • 単語を与えると類似した単語が出てくることがある (データの量を増やすことでより正確になる) • 英語の文章を与えると類似した英単語が出てくる • 日本語の文章を与えると類似した日本語の単語が出てくる
12. 考察 • 与えたのは「ゲームのシナリオ」 • 「アルプ」という単語はゲーム内において「魔女」という 単語が深く関わっている • word2vecの結果より、類似した単語に「魔女」が出てき た • ゲーム内における「アルプ」の持つ意味合いが推定できた
13. しくみ • 分布仮説(Distributional Hypothesis) • 同じ文脈で出現する単語は同じ意味を持つ – 私 は 椎葉 です – 私 は 因幡 です -> 椎葉と因幡には大きな関係がある • 単語は文脈によって決まる
14. しくみ • 統計的意味論(Statistical Semantics) • 単語の周辺文脈の統計的性質から単語の意味を推定する – あ 、 紬 先輩！ ちゃろー！ – じゃあじゃあ、 紬 先輩 も 思い切って 買っちゃいましょうよ！ -> 紬と先輩には大きな関係がある • 文脈は単語によって決まる • この2つをうまく組み合わせている(らしい)
15. テーマ内容
16. やりたいこと • ゲーム内特有の単語「アルプ」の意味を類似した単語に よっておよそ説明することができていた • 未知語が使われている文を与えることで、未知語の意味 を推定できるのではないか？
20. Twitterとword2vecを用いた バブみの意味推定
21. バブみ • 2015年初頭から用いられるようになった表現 • 各所で考察が行われているが確立した意味はない – 母性？ 包容力？ 甘え？ • Twitterの投稿データからバブみの意味を推定してみる
22. 流れ • Twitterからうまく文章を引っ張る (どんな文章を？誰の？) • 文章をクリーニングする (どのようにして？) • word2vecに突っ込んで”バブみ”との各単語の類似度を測る • 類似度が高い単語を”バブみ”の意味として推定
23. ポイント • word2vecは与えられる文章に大きく依存する – 文章の与え方、クリーニングの方法をどうすればよいか – 複数のデータを用意し、それぞれ与えたときにどのような違いが 生まれるのか検証 • 未知語(バブみ)の意味を推定するのはおまけ – うまく推定できなくても泣かない 最終目標ではある
24. 現状の問題点 • word2vecがすごいデリケート – シナリオファイルのノイズを取り除いたら逆に精度が悪くなった ことがある – 今回はデータ量が実質無限なので大丈夫だとは思うが…？ – 与えるデータによってどう転ぶか全然わからない(文献もほとんど ない)
25. 現状の問題点 • Twitterのオタクが日本語をしゃべってくれない – テキストデータを整形する際に辞書データを使う必要がある – オタク構文をうまく解析できるようにしないと精度が落ちそう
26. 解析すらできていない
27. 環境 • Ubuntu 14.04 – mecab, word2vec • Python (word2vec) • Ruby (文章処理等)