Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VAE and GAN
Search
Atom
February 28, 2019
0
190
VAE and GAN
Atom
February 28, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
88
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
92
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
55
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
65
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
96
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
120
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Featured
See All Featured
The Language of Interfaces
destraynor
158
25k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Embracing the Ebb and Flow
colly
86
4.7k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
For a Future-Friendly Web
brad_frost
179
9.8k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
5
230
Rails Girls Zürich Keynote
gr2m
94
14k
Automating Front-end Workflow
addyosmani
1370
200k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.8k
Transcript
VAEとGAN 自然言語処理における生成モデル 第8回 B3勉強会 2019/2/28 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
参考文献・資料 [1] IIBMP2016:深層生成モデルによる表現学習 https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation- learning [2] @kenchin110100:AutoEncoder, VAE, CVAEの比較 〜なぜVAEは
連続的な画像を生成できるのか?〜 https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a [3] @thetenthart:CVAEによるキャラクターの台詞の生成と、口調変換 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 2
参考文献・資料 [4] @triwave33:今さら聞けないGAN(1) 基本構造の理解 https://qiita.com/triwave33/items/1890ccc71fab6cbca87e [5] 鈴木雅大: GAN(と強化学習の関係) https://www.slideshare.net/masa_s/gan-83975514 [6]
小町守:言語処理におけるGANの展開 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 3
Contents (1) VAEの復習 (2) CVAE (3) GANとは (4) GANの自然言語処理への応用 4
(1) VAEの復習 ・Variational Auto-encoder 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 入力を受けて出力が確率的に決まる KL divergenceを最小化
5
(1) VAEの復習 6 引用[2]
(1) VAEの復習 引用[1] 7
(2) CVAE ・Conditional Variational Auto-encoder 半教師あり学習(Encoder, Decoderに正解ラベルを付与) VAEでは出力が確率的に決まるが,CVAEではある程度 指定できる. 参考文献[3]によれば,キャラクターごとの口調や文体表現を
ある程度指定して,生成(変換)できるのではないかと されている. 8
(2) CVAE 9 引用[2]
(2) CVAE 10 引用[3]
(3) GANとは ・Generative Adversarial Networks 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 識別器(Discriminator)を教師なし学習させた後, 生成器(Generator)を識別器を用いて学習させる.
Jensen-Shannon divergence を最小化(ほかにもある) 11
(3) GANとは 12 引用[4]
(3) GANとは 13 引用[4]
(4) GANの自然言語処理への応用 系列データにおけるGAN ・SeqGAN ・textGAN ・MaskGAN 他にも,対話などの言語生成に応用されている. 14 機械翻訳におけるGAN ・CS-GAN
・Local-GANとGlobal-GAN