Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介Deep Temporal-Recurrent-Replicated-Softmax ...
Search
Atom
January 10, 2020
0
100
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
Atom
January 10, 2020
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
89
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
93
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
55
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
69
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
roraidolaurent
1
140
Featured
See All Featured
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Into the Great Unknown - MozCon
thekraken
40
1.9k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
109
19k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Why Our Code Smells
bkeepers
PRO
337
57k
We Have a Design System, Now What?
morganepeng
53
7.7k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Transcript
Deep Temporal-Recurrent-Replicated- Softmax for Topical Trends over Time 文献紹介 2020/1/10
長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
Abstract ・ニューラルベースの動的トピックモデル RNN-Replicated Softmax Model (RNN-RSM)を提案 ・最先端のモデルと比較して精度、コヒーレンスが良く より一般化したモデルであることを示した。 ・SPANというメトリックを導入し、トピックの単語を時系列で 追跡
2
1. Introduction ・先行研究においてSoftmaxによって確率を求めるモデル RSM が従来のLDAよりも精度が良く、より一般化されていることが 知られている。 ・しかし、現在の動的トピックモデルではLDAをベースとした モデルであり、明示的に単語を追跡できていない。 ・RNN-RSMを提案し、特定のトピックに関する単語を長期に わたって明示的にモデル化した。
3
2. The RNN-RSM model 4
2. The RNN-RSM model 5 () = () =1
() () ∶ × () ∶ dictionary size overall the time step () ∶ document size
2. The RNN-RSM model 6
2. The RNN-RSM model 7
2. The RNN-RSM model 8
3.1 Dataset and Experimental Setup ACLとEMNLPの論文 ExpandRank を使用して各論文についてユニグラムとバイグラム を含む上位100個のキーフレーズを抽出し、辞書を作成 9
3.1 Dataset and Experimental Setup 10
3.2 Generalization in Dynamic Topic Models 11
3.4 Topic Interpretability 12
3.5 TTC: Trending Keywords over time SPAN : キーワード出現の最長シーケンスの長さ 13
3.5 TTC: Trending Keywords over time 14 言語モデルや機械翻訳 は昔からキワードであ る一方、ニューラルや
単語埋め込みは最近
3.5 TTC: Trending Keywords over time 15
3.5 TTC: Trending Keywords over time 16 LDAやRSMでは長期的なトピック(言 語モデルや機械翻訳)は完全には追跡で きなく、DTMは新しいトピック
(ニューラルや単語埋め込み)には対応 できないが、RNN-RSMは両方とも対応 できる。
6 Conclusion 17 ・RNNと確率的グラフィカルモデルRSMに基づいた RNN-RSMを提案 ・従来のモデルより精度が高く一般化されたモデルであり、 コヒーレンスも高いことを示した。 ・よりトピックの追跡を説明するためにSPANを導入。 ・今後は、学習時間などの学習過程について調査し改善したい