Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介Deep Temporal-Recurrent-Replicated-Softmax ...
Search
Atom
January 10, 2020
0
100
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
Atom
January 10, 2020
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
91
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
96
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
56
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
2
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
69
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
roraidolaurent
1
150
Featured
See All Featured
Site-Speed That Sticks
csswizardry
11
880
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Embracing the Ebb and Flow
colly
88
4.8k
Faster Mobile Websites
deanohume
310
31k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
52
5.6k
The Pragmatic Product Professional
lauravandoore
36
6.9k
How to Think Like a Performance Engineer
csswizardry
27
2k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
49
3.1k
Producing Creativity
orderedlist
PRO
347
40k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Transcript
Deep Temporal-Recurrent-Replicated- Softmax for Topical Trends over Time 文献紹介 2020/1/10
長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
Abstract ・ニューラルベースの動的トピックモデル RNN-Replicated Softmax Model (RNN-RSM)を提案 ・最先端のモデルと比較して精度、コヒーレンスが良く より一般化したモデルであることを示した。 ・SPANというメトリックを導入し、トピックの単語を時系列で 追跡
2
1. Introduction ・先行研究においてSoftmaxによって確率を求めるモデル RSM が従来のLDAよりも精度が良く、より一般化されていることが 知られている。 ・しかし、現在の動的トピックモデルではLDAをベースとした モデルであり、明示的に単語を追跡できていない。 ・RNN-RSMを提案し、特定のトピックに関する単語を長期に わたって明示的にモデル化した。
3
2. The RNN-RSM model 4
2. The RNN-RSM model 5 () = () =1
() () ∶ × () ∶ dictionary size overall the time step () ∶ document size
2. The RNN-RSM model 6
2. The RNN-RSM model 7
2. The RNN-RSM model 8
3.1 Dataset and Experimental Setup ACLとEMNLPの論文 ExpandRank を使用して各論文についてユニグラムとバイグラム を含む上位100個のキーフレーズを抽出し、辞書を作成 9
3.1 Dataset and Experimental Setup 10
3.2 Generalization in Dynamic Topic Models 11
3.4 Topic Interpretability 12
3.5 TTC: Trending Keywords over time SPAN : キーワード出現の最長シーケンスの長さ 13
3.5 TTC: Trending Keywords over time 14 言語モデルや機械翻訳 は昔からキワードであ る一方、ニューラルや
単語埋め込みは最近
3.5 TTC: Trending Keywords over time 15
3.5 TTC: Trending Keywords over time 16 LDAやRSMでは長期的なトピック(言 語モデルや機械翻訳)は完全には追跡で きなく、DTMは新しいトピック
(ニューラルや単語埋め込み)には対応 できないが、RNN-RSMは両方とも対応 できる。
6 Conclusion 17 ・RNNと確率的グラフィカルモデルRSMに基づいた RNN-RSMを提案 ・従来のモデルより精度が高く一般化されたモデルであり、 コヒーレンスも高いことを示した。 ・よりトピックの追跡を説明するためにSPANを導入。 ・今後は、学習時間などの学習過程について調査し改善したい