Nonparametric Spherical Topic Modeling with Word Embeddings Nematollah Kayhan Batmanghelich, Ardavan Saeedi, Karthik R. Narasimhan, Samuel J. Gershman 文献紹介 2019/5/14 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 537–542, Berlin, Germany, August 7-12, 2016.

References [1]わかばテクノロジ フォンミーゼスフィッシャー分布サンプリング http://wakaba-technica.sakura.ne.jp/library/random_vonmises_fisher.html [2] issei_sato Bayesian Nonparametrics入門 DPからHDPまで https://www.slideshare.net/issei_sato/bayesian-nonparametricsdphdp 2

Abstract ・トピックモデルに階層ディリクレ過程を使用し，確率変分推論 に基づく推論アルゴリズムを提案 ・このモデルはトピック数を柔軟に発見して，単語埋め込みの 意味構造を自然に活用することができる ・効率的な推論でかつ，2つのテキストコーパスにおいて トピックの一貫性に関して他のアプローチよりも優れている 3

1. Introduction ・単語埋め込み間のコサイン距離は意味的関連性を表す一つの 尺度である． ・von Mises-Fisher 分布（vMF）は方向データをモデル化に 非常に適しているが，これまでのトピックモデルには適用され ていない． ・本研究では，観測分布にvMFを使用する． 4

1. Introduction ・各単語は単位球面上のトピックの規準方向を伴う点であると みなすことができる． ・トピック数を自動的に推論するために，LDAのベイズ ノンパラメトリックに変形したモデルである階層ディリクレ 過程（HDP）を使用する． ・確率的変分推論（SVI）に基づく効率的な推論を実装する 5

2. von Mises-Fisher (vMF) distribution 6

3. DP and HDP 7

3. DP and HDP 8

3. DP and HDP 9

3. DP and HDP 10

3. DP and HDP 11

3. DP and HDP 12

3. DP and HDP 13

4. Model 14 ・文書dから単語nは正規化された M次元ベクトルxdn で表される． ・トピックベクトルの方向はμkで表される ・xdnとμkのコサイン距離はvMFの対数尤度に 等しくなる．

5. Stochastic variational inference 15 変分下限ELBOを最大化

5. Experiments 16 ・データセット 20NEWS-GROUPS ：11266 documents NIPS ：1566 documents ・単語ベクトル：50次元（Wikipediaで学習，word2vec） L2ノルム正則化で正規化 ・PMIはWikipediaの300k documents を使用して求める （20-word sliding windows）

5. Experiments 17

5. Experiments 18

6. Conclusion 19 ・HDPを使用した確率的変分推論に基づく効率的な アルゴリズムを提案した． ・自然に単語埋め込みの意味を利用しながら，トピック数を 柔軟に推論することができる． ・2つのデータセットにおいてトピックのコヒーレンスが他の アプローチよりも優れていることを示した．