文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time

Transcript

1. Deep Temporal-Recurrent-Replicated-
   Softmax for Topical Trends over Time
   文献紹介
   2020/1/10
   長岡技術科学大学
   自然言語処理研究室 吉澤 亜斗武
   

   View Slide

2. Abstract
   ・ニューラルベースの動的トピックモデル
   RNN-Replicated Softmax Model (RNN-RSM)を提案
   ・最先端のモデルと比較して精度、コヒーレンスが良く
   より一般化したモデルであることを示した。
   ・SPANというメトリックを導入し、トピックの単語を時系列で
   追跡
   2
   

   View Slide

3. 1. Introduction
   ・先行研究においてSoftmaxによって確率を求めるモデル RSM
   が従来のLDAよりも精度が良く、より一般化されていることが
   知られている。
   ・しかし、現在の動的トピックモデルではLDAをベースとした
   モデルであり、明示的に単語を追跡できていない。
   ・RNN-RSMを提案し、特定のトピックに関する単語を長期に
   わたって明示的にモデル化した。
   3
   

   View Slide

4. 2. The RNN-RSM model
   4
   

   View Slide

5. 2. The RNN-RSM model
   5
   ෡
   () = ()
   =1
   ()
   () ∶ ×
   ()
   ∶ dictionary size overall the time step
   
   () ∶ document size
   

   View Slide

6. 2. The RNN-RSM model
   6
   

   View Slide

7. 2. The RNN-RSM model
   7
   

   View Slide

8. 2. The RNN-RSM model
   8
   

   View Slide

9. 3.1 Dataset and Experimental Setup
   ACLとEMNLPの論文
   ExpandRank を使用して各論文についてユニグラムとバイグラム
   を含む上位100個のキーフレーズを抽出し、辞書を作成
   9
   

   View Slide

10. 3.1 Dataset and Experimental Setup
    10
    

    View Slide

11. 3.2 Generalization in Dynamic Topic Models
    11
    

    View Slide

12. 3.4 Topic Interpretability
    12
    

    View Slide

13. 3.5 TTC: Trending Keywords over time
    SPAN : キーワード出現の最長シーケンスの長さ
    13
    

    View Slide

14. 3.5 TTC: Trending Keywords over time
    14
    言語モデルや機械翻訳
    は昔からキワードであ
    る一方、ニューラルや
    単語埋め込みは最近
    

    View Slide

15. 3.5 TTC: Trending Keywords over time
    15
    

    View Slide

16. 3.5 TTC: Trending Keywords over time
    16
    LDAやRSMでは長期的なトピック（言
    語モデルや機械翻訳）は完全には追跡で
    きなく、DTMは新しいトピック
    （ニューラルや単語埋め込み）には対応
    できないが、RNN-RSMは両方とも対応
    できる。
    

    View Slide

17. 6 Conclusion
    17
    ・RNNと確率的グラフィカルモデルRSMに基づいた
    RNN-RSMを提案
    ・従来のモデルより精度が高く一般化されたモデルであり、
    コヒーレンスも高いことを示した。
    ・よりトピックの追跡を説明するためにSPANを導入。
    ・今後は、学習時間などの学習過程について調査し改善したい
    

    View Slide