文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time

7b478cab8e68f81b1f6830077b6649ca?s=47 Atom
January 10, 2020
30

文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time

7b478cab8e68f81b1f6830077b6649ca?s=128

Atom

January 10, 2020
Tweet

Transcript

  1. Deep Temporal-Recurrent-Replicated- Softmax for Topical Trends over Time 文献紹介 2020/1/10

    長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
  2. Abstract ・ニューラルベースの動的トピックモデル RNN-Replicated Softmax Model (RNN-RSM)を提案 ・最先端のモデルと比較して精度、コヒーレンスが良く より一般化したモデルであることを示した。 ・SPANというメトリックを導入し、トピックの単語を時系列で 追跡

    2
  3. 1. Introduction ・先行研究においてSoftmaxによって確率を求めるモデル RSM が従来のLDAよりも精度が良く、より一般化されていることが 知られている。 ・しかし、現在の動的トピックモデルではLDAをベースとした モデルであり、明示的に単語を追跡できていない。 ・RNN-RSMを提案し、特定のトピックに関する単語を長期に わたって明示的にモデル化した。

    3
  4. 2. The RNN-RSM model 4

  5. 2. The RNN-RSM model 5 ෡ () = () =1

    () () ∶ × () ∶ dictionary size overall the time step () ∶ document size
  6. 2. The RNN-RSM model 6

  7. 2. The RNN-RSM model 7

  8. 2. The RNN-RSM model 8

  9. 3.1 Dataset and Experimental Setup ACLとEMNLPの論文 ExpandRank を使用して各論文についてユニグラムとバイグラム を含む上位100個のキーフレーズを抽出し、辞書を作成 9

  10. 3.1 Dataset and Experimental Setup 10

  11. 3.2 Generalization in Dynamic Topic Models 11

  12. 3.4 Topic Interpretability 12

  13. 3.5 TTC: Trending Keywords over time SPAN : キーワード出現の最長シーケンスの長さ 13

  14. 3.5 TTC: Trending Keywords over time 14 言語モデルや機械翻訳 は昔からキワードであ る一方、ニューラルや

    単語埋め込みは最近
  15. 3.5 TTC: Trending Keywords over time 15

  16. 3.5 TTC: Trending Keywords over time 16 LDAやRSMでは長期的なトピック(言 語モデルや機械翻訳)は完全には追跡で きなく、DTMは新しいトピック

    (ニューラルや単語埋め込み)には対応 できないが、RNN-RSMは両方とも対応 できる。
  17. 6 Conclusion 17 ・RNNと確率的グラフィカルモデルRSMに基づいた RNN-RSMを提案 ・従来のモデルより精度が高く一般化されたモデルであり、 コヒーレンスも高いことを示した。 ・よりトピックの追跡を説明するためにSPANを導入。 ・今後は、学習時間などの学習過程について調査し改善したい