数式抜きでWord2vecを話す

社内勉強用の資料です。
フォローお願いします。https://twitter.com/Ishitonton

Transcript

1. 数式抜きでWord2vecを話す 2019.08 Yoshiyuki Ishida
2. 突然ですが、これは何色？ 2
3. 深緋（こけあき）色 3 RGB=(194, 0, 36) 3次元ベクトル
4. ベクトル表現には、色々とメリットがある • 定量化/細かいニュアンスの表現 • 同質性/異質性の把握 4 (0, 189, 255) (0, 103, 255) (0, 19, 255) (65, 0, 255) 全部青やんけ！
5. ところで、ベクトル表現は 色の世界だけでなく、自然言語処理の世界にも適用可能。 5 Word2vec = Word to vector = 単語のベクトル表現 のアルゴリズムの１つ
6. 自然言語（Natural Language） • 日本語とか英語とか。私たちが普段利用している言語。 • 我々の言語をコンピュータに理解させたい、させるといいことがたくさんある。 • 自然言語処理（Natural Language Processing：NLP） チャットボット 翻訳 自動要約
7. 「リンゴ」と意味が似ている単語はどれ？ トマト 数学 犬 7
8. ベクトル空間表現 • 単語の意味をベクトル表現できれば、近しい意味の単語を定量的に把握 できる。 8 トマト リンゴ バナナ 数学 犬 猫 国語 英語 ※２次元で考えた場合
9. 単語のベクトル表現のことを、 「単語の分散表現」「単語の埋め込み表現」と呼ぶ。 9
10. 単語の分散表現には、様々なアルゴリズムが提案されている • 主なアルゴリズム • Word2vec • Glove • fastText • Word2vecは、単語の分散表現のアルゴリズムで、最も基礎的な概念。 10
11. Word2vec • ニューラルネットワークを利用して、単語の複雑な出現パターンを学習す ることで、単語の意味をベクトル化し、少ない次元で表現したもの。 11 array([ 1.7441803e-01, 5.5022329e-01, -1.5351723e+00, 2.3066516e+00, -2.3487081e-01, 1.7224085e-01, 1.0707989e+00, 3.7454587e-01, -1.7149467e+00, 4.6234414e-01, -7.2002047e-01, -1.2101789e-01, -1.3974689e+00, -4.9059436e-01, 1.3345706e+00, -5.8065295e-01, 8.8916004e-01, 4.4929271e+00, -1.4097267e+00, -5.0225359e-01, … 3.5694275e-02, 8.0919385e-01, -2.8557727e+00, 3.0286400e+00, -2.1482782e+00, 6.0337013e-01, -7.5518543e-01, 1.5582509e-01, 2.1217930e+00, 2.4696269e+00, -1.9842325e-01, 1.2560833e-01, -8.6570635e-02, 5.3070253e-01, 1.0623057e+00, 8.1694938e-02, 6.1838251e-01, 3.1581829e+00, -5.0594652e-01, -1.1081424e+00, -1.5923131e+00, -2.4171481e-02, 2.5128777e+00, 2.2384043e+00, -1.6228848e+00, -6.4785779e-01, 1.7091165e-01, 3.1226902e+00], dtype=float32) 「日本」 ＝ 200次元 ベクトル
12. Word2vecでこんなことが可能。 1. 単語同士の意味の近さを計算できる。 • 単語の類似性がエンコードされている。 2. 単語同士の意味を足し算、引き算を計算できる。 • 複雑な単語間の出現パターンも捉えている。 12 ニューラルネットワークで学習するからこそ可能。 従来の単語の分散表現（シソーラス/カウントベース）の方法では捉えらえない。
13. 男⇔女間のベクトルの向きは一緒。 13 「おじ - 男 ＋ 女 = おば」 「王 - 男 ＋ 女 = 女王」 みたいなベクトル演算が可能。 ※簡易的に2次元で表現。本当は、20次元～の話。 参考：https://deepage.net/bigdata/machine_learning/2016/09/02/word2vec_power_of_word_vector.html
14. ここでクイズ。Word2vecで計算させると・・・（後で。） •「松本人志」 - 「ボケ」 + 「ツッコミ」 = •「イチロー」 – 「野球」 + 「サッカー」 = •「結婚生活」 - 「楽しさ」 = •「人生」とは、 14 ※前提：日本語Wikipediaをコーパスとする。
15. 「単語の意味」をコンピュータに認識させる３つの方法 1. シソーラスによる手法 2. カウントベースによる手法 3. 推論ベースによる手法 15 Word2vec, Glove, fastText 付録に記載 時 代 • Word2vecは推論問題を解くことで得られる情報。
16. Word2vecの準備： 情報源には、コーパスを利用する。 • コーパス • NLPの研究やアプリケーションのために目的をもって収集されたテキストデータ。 • 利用データ • Wikipedia • Google news • シェイクスピア／夏目漱石など、作家の作品群 等 • 特徴 • コーパスに含まれる文章は「人の手によって書かれたもの」。 • 自然言語に関する人の「知識」が大量に含まれている。 • 文章の書き方 • 単語の選び方 • 単語の意味 16
17. Word2vecのアイデア①： 分布仮説 • 単語の意味は、周囲の単語によって形成される 17 I drink beer. We drink wine. I guzzle beer. We guzzle wine. beerやwineは飲み物？ guzzleとdrinkとは 近い意味を持つ？
18. Word2vecのアイデア② ： 推論問題 • 推論問題を解く過程で、単語間のパターンや意味を学んでいく。 18 You say goodby and I say hello. you goodby 入力 （前後の単語） 複雑な計算式 正解 単語 say 予測 （確率が高い単語) are 複雑な計算式 goodby goodby goodby I 複雑な計算式 and or ① 比較 ③ ② フィードバック フィードバック say I
19. Word2vec（推論ベース）のアイデア • 「周囲の単語」が与えられたときに、どのような単語が出現するかを推測する。 1. 大規模なコーパスを用意する。 2. コーパスを利用して、推論問題を解きまくる。 3. 結果を、「複雑な計算式」にフィードバックしまくる。 4. 「複雑な計算式」は段々と頭がよくなる。予測精度が上がる。 • 「複雑な計算式」が、単語の複雑なパターンを学んだ結果、単語の分散表現が得られる。 19 you goodby you say goodbye and I hello . 単語の出現確率 周囲の単語 複雑な計算式 単語の分散表現
20. Word2Vecは2つのモデルがある • CBOWモデル（Continuous bag-of-words） • Skip-gramモデル 20 You ？ goodby and I say hello. ? say ? and I say hello. 今、話したモデル こっちの方が、推論問題としては難しい。
21. 参考：ＣＢＯＷモデルのニューラルネットワーク構造 21 入力層 中間層 出力層 Softmax() スコア 出現確率 you say goodbye and I hello . you say goodbye and I hello . you say goodbye and I hello . 0 1 0 0 0 0 0 正解ラベル 比較 1 0 0 0 0 0 0 0 0 1 0 0 0 0 重み (7×3) 重み (3×7) 重み (7×3) (1×7) (1×7) (1×7) 1. 入力層は、targetの周囲の2つの単語ベクトルが入る。 2. 中間層は、2つの入力層と重みWinの積を計算し、その出力の平均となる。 3. 出力層のニューロンはスコア。Softmax関数で出現確率に変換。 4. 正解ラベルと差分（損失）を計算し、損失を減らす方向に重みを更新する。 5. 上記を繰り返す。 CrossEntropyError =損失 Back Propagation/重み（Win /Wout ）の更新
22. 参考：入力データはone-hotベクトル化 • ニューラルネットワークで単語の処理を行うために、固定長にデータを変換する。 • one-hotベクトル 22 (1, 0, 0, 0, 0, 0, 0) (0, 0, 1, 0, 0, 0, 0) you goodby
23. 重みが、欲しかった「単語の分散表現」 • 一般的には、Encode側の重みWinのみを利用する。 • 各行には、単語の分散表現が格納されている。 • 「音楽」「スポーツ」など、コーパスが違えば単語の分散表現も異なる。 • 単語の出現パターンを捉えたベクトル • 得られたベクトルは、「単語の意味」も内包している。 23
24. 学習済みモデルWord2vecをいじってみる。
25. 学習済みモデル • 東北大学 乾・岡崎研究室で作られたモデル • 日本語Wikipediaの本文全文をもとに学習したもの • ベクトル：200次元 • http://www.cl.ecei.tohoku.ac.jp/~m-suzuki/jawiki_vector/ • ファイル：20170201.tar.bz2 (2017年2月1日版, 1.3GB, 解凍後 2.6GB)をDLする。
26. モデルのインポート （python） $ tar -jxvf 20170201.tar.bz2 $ from genism.models import KeyedVector $ model = KeyedVectors.load_word2vec_format('./entity_vector/entity_vector.model.bin', binary=True) # コンソール上でファイルの解凍 # pythonでのライブラリのimport、モデルオブジェクトの作成
27. 好きな単語のベクトルを表示する。 $ model[u'浦和レッズ'] # 「浦和レッズ」のベクトル出力 200次元ベクトル （＝ 1×200行列）
28. 類似性が高い単語を表示する。 $ model.most_similar([u'人生']) # 「人生」の類似性が高い上位単語の出力 曖昧な単語についても、 ベクトル化されている。
29. 「松本人志」 - 「ボケ」 + 「ツッコミ」
30. 「イチロー」 – 「野球」 + 「サッカー」 30
31. 「結婚生活」 - 「楽しさ」 31
32. Word2vecの利用シーン • 予測モデルの特徴量として利用することで、精度向上するかも。 • 既存の学習データだけだと、未知語が多い/過学習する場合。 • Kaggleなどでも利用されている。 • 学習済みの分散表現を外部からimportし利用する。 • 転移学習 32
33. ネタ：色々なコーパスでＷｏｒｄ２ｖｅｃを作った例： Ｂ’ｚの歌詞 • データサイエンティスト見習いの日常 • B'zの歌詞をPythonと機械学習で分析してみた 〜Word 2 Vec編〜 • https://pira-nino.hatenablog.com/entry/bz_w2v 33
34. ネタ：色々なコーパスでＷｏｒｄ２ｖｅｃを作った例: 発言小町 • ＡＩＮＯＷ • どうしたら「彼女」から「奥さん」になれるかを『Word2Vec』に聞いてみた • https://ainow.ai/2017/10/31/124408/ 34
35. ネタ：色々なコーパスでＷｏｒｄ２ｖｅｃを作った例：Twitter • パソコン工房NEXMAG • Word2Vecで「おじさん」と「お兄さん」を比較してみた • https://www.pc-koubou.jp/magazine/9905 35
36. まとめ • Word2vecについて、数式を使わずに説明した。 • ニューラルネットワークや実際の計算式に興味がある人は、調べてみてくだ さい。 • より効率的に計算できる方法があるが割愛した。 • Embeddingレイヤの導入 • Negative Sampling 36
37. 付録 37
38. 1．シソーラスによる手法 人が作った類語辞書を利用する方法 38
39. シソーラス（thesaurus） • ＝「単語の意味を人手で定義する類似辞書」のこと。 • 同じ意味の単語（同義語）や意味の似た単語（類義語）が同じグループに分類される。 • 単語の間で、「上位と下位」「全体と部分」など、より細かい定義もされる。 • コンピュータに単語間の関連性を教えることができる。 39 Car auto automobile machine motorcar = Carの同義語 object car motor vehicle go-kart Carの上位・下位概念 truck SUV compact hatch-back
40. WordNet • 最も有名なシソーラス • 1985年に開発がスタートした伝統あるシソーラスで、多くの研究で利用されてきた。 • ２０万語を超える単語が登録済み。 • 単語ネットワークを利用して、単語間の類似度を算出できる。 • PythonのNLTKというライブラリを利用すると、WordNetが利用できる。 • Github: https://github.com/ronasama/nlp_sample/blob/master/nltk_sample.py 40 # tokyoの定義を確認する $ tokyo.definition() # -> 'the capital and largest city of Japan; the economic and cultural center of Japan' # tokyoの同義語を確認する $ tokyo.lemma_names() # -> ['Tokyo', 'Tokio', 'Yeddo', 'Yedo', 'Edo', 'Japanese_capital', 'capital_of_Japan'] # osakaやkyotoとの類似度を確認する $ print(tokyo.path_similarity(osaka)) # -> 0.25 $ print(tokyo.path_similarity(kyoto)) # -> 0.25 $ print(kyoto.path_similarity(osaka)) # -> 0.3333333
41. シソーラスの問題点 • 時代で言葉の意味は変わっていく。 • 人の作業コスト。 • 単語の細かいニュアンスの違いを表現できない。 41
42. 2．カウントベースによる手法 統計情報（単語の出現頻度）から、単語の意味を表現する方法 42
43. 共起行列：一番素直な方法 43 You say goodby and I say hello. • 全ての単語に対して、共起する単語をテーブルにまとめたもの • 周囲の単語をカウントする。（window size =1） you say goodby and I hello . you 0 1 0 0 0 0 0 say 1 0 1 0 1 1 0 goodby 0 1 0 1 0 0 0 and 0 0 1 0 1 0 0 I 0 1 0 1 0 0 0 hello 0 1 0 0 0 0 1 . 0 0 0 0 0 1 0
44. ベクトル間の類似度（コサイン類似度） • コサイン類似度（Cosine similarity） • 単語のベクトル表現の類似度によく利用される。 • 他には、ベクトルの内積計算／ユークリッド距離等 44 = 1 1 + ⋯ + 1 2 + ⋯ + 2 1 2 + ⋯ + 2 Similarity(X, Y) = ∙ ※コーパスが小さいので解釈できる結果にはならない。 大規模なコーパスを利用するといい感じになるはず。
45. 他にもカウントベースの分散表現にかかわるテクニック • N-gram • 今話したのと、ほぼほぼ一緒。 • 文書N-gramと単語N-gramがある。 • TF-IDF • Term Frequency(TF)と、Inverse Document Frequency(IDF)のこと。 • 普通にやると、andとかIとかisとかareとかが頻度高くなるのは当然。 • 文書の中から、その文書の特徴語を抽出する時に使う。 • 次元圧縮（SVDとか） • 単語が大きくなればなるほど、巨大でスパースな行列になる。 • 特異値分解とかを利用して、別の行列に情報を集約する。 45
46. カウントベースの問題点 • コーパス全体の統計データを利用する。 • 毎回、全てのデータを利用して一度に計算し直す。つらい。 • 巨大な行列に次元圧縮をかけるのは現実的ではない。 • １００万語の単語を扱う場合、１００万×１００万の行列計算が必要になる。 46
47. Word2vecの従来手法との比較 • 推論ベースの方法は、ミニバッチで学習可能。（データを小分けして学習可能） • 複数マシンでの並列計算もできる。 • カウントベースは、毎回ゼロから計算を行う必要があり。 • 推論ベースは、パラメータの更新が可能。 • カウントベースでは、複雑な単語間のパターンは表現できない。 47