Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介Deep Temporal-Recurrent-Replicated-Softmax ...
Search
Atom
January 10, 2020
0
100
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
Atom
January 10, 2020
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
91
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
97
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
56
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
2
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
69
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
roraidolaurent
1
150
Featured
See All Featured
Producing Creativity
orderedlist
PRO
347
40k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
How GitHub (no longer) Works
holman
315
140k
Context Engineering - Making Every Token Count
addyosmani
7
270
KATA
mclloyd
PRO
32
15k
Building Applications with DynamoDB
mza
96
6.7k
How To Stay Up To Date on Web Technology
chriscoyier
791
250k
Embracing the Ebb and Flow
colly
88
4.9k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Transcript
Deep Temporal-Recurrent-Replicated- Softmax for Topical Trends over Time 文献紹介 2020/1/10
長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
Abstract ・ニューラルベースの動的トピックモデル RNN-Replicated Softmax Model (RNN-RSM)を提案 ・最先端のモデルと比較して精度、コヒーレンスが良く より一般化したモデルであることを示した。 ・SPANというメトリックを導入し、トピックの単語を時系列で 追跡
2
1. Introduction ・先行研究においてSoftmaxによって確率を求めるモデル RSM が従来のLDAよりも精度が良く、より一般化されていることが 知られている。 ・しかし、現在の動的トピックモデルではLDAをベースとした モデルであり、明示的に単語を追跡できていない。 ・RNN-RSMを提案し、特定のトピックに関する単語を長期に わたって明示的にモデル化した。
3
2. The RNN-RSM model 4
2. The RNN-RSM model 5 () = () =1
() () ∶ × () ∶ dictionary size overall the time step () ∶ document size
2. The RNN-RSM model 6
2. The RNN-RSM model 7
2. The RNN-RSM model 8
3.1 Dataset and Experimental Setup ACLとEMNLPの論文 ExpandRank を使用して各論文についてユニグラムとバイグラム を含む上位100個のキーフレーズを抽出し、辞書を作成 9
3.1 Dataset and Experimental Setup 10
3.2 Generalization in Dynamic Topic Models 11
3.4 Topic Interpretability 12
3.5 TTC: Trending Keywords over time SPAN : キーワード出現の最長シーケンスの長さ 13
3.5 TTC: Trending Keywords over time 14 言語モデルや機械翻訳 は昔からキワードであ る一方、ニューラルや
単語埋め込みは最近
3.5 TTC: Trending Keywords over time 15
3.5 TTC: Trending Keywords over time 16 LDAやRSMでは長期的なトピック(言 語モデルや機械翻訳)は完全には追跡で きなく、DTMは新しいトピック
(ニューラルや単語埋め込み)には対応 できないが、RNN-RSMは両方とも対応 できる。
6 Conclusion 17 ・RNNと確率的グラフィカルモデルRSMに基づいた RNN-RSMを提案 ・従来のモデルより精度が高く一般化されたモデルであり、 コヒーレンスも高いことを示した。 ・よりトピックの追跡を説明するためにSPANを導入。 ・今後は、学習時間などの学習過程について調査し改善したい