Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VAE and GAN
Search
Atom
February 28, 2019
0
190
VAE and GAN
Atom
February 28, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
78
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
80
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
48
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.7k
Graph Convolutional Networks
roraidolaurent
0
210
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
60
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
91
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
100
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
190
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
40
2k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
100
18k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1.1k
RailsConf 2023
tenderlove
29
1k
Into the Great Unknown - MozCon
thekraken
35
1.6k
Documentation Writing (for coders)
carmenintech
68
4.6k
GraphQLとの向き合い方2022年版
quramy
44
14k
The Pragmatic Product Professional
lauravandoore
32
6.4k
Side Projects
sachag
452
42k
Building Adaptive Systems
keathley
40
2.4k
Transcript
VAEとGAN 自然言語処理における生成モデル 第8回 B3勉強会 2019/2/28 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
参考文献・資料 [1] IIBMP2016:深層生成モデルによる表現学習 https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation- learning [2] @kenchin110100:AutoEncoder, VAE, CVAEの比較 〜なぜVAEは
連続的な画像を生成できるのか?〜 https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a [3] @thetenthart:CVAEによるキャラクターの台詞の生成と、口調変換 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 2
参考文献・資料 [4] @triwave33:今さら聞けないGAN(1) 基本構造の理解 https://qiita.com/triwave33/items/1890ccc71fab6cbca87e [5] 鈴木雅大: GAN(と強化学習の関係) https://www.slideshare.net/masa_s/gan-83975514 [6]
小町守:言語処理におけるGANの展開 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 3
Contents (1) VAEの復習 (2) CVAE (3) GANとは (4) GANの自然言語処理への応用 4
(1) VAEの復習 ・Variational Auto-encoder 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 入力を受けて出力が確率的に決まる KL divergenceを最小化
5
(1) VAEの復習 6 引用[2]
(1) VAEの復習 引用[1] 7
(2) CVAE ・Conditional Variational Auto-encoder 半教師あり学習(Encoder, Decoderに正解ラベルを付与) VAEでは出力が確率的に決まるが,CVAEではある程度 指定できる. 参考文献[3]によれば,キャラクターごとの口調や文体表現を
ある程度指定して,生成(変換)できるのではないかと されている. 8
(2) CVAE 9 引用[2]
(2) CVAE 10 引用[3]
(3) GANとは ・Generative Adversarial Networks 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 識別器(Discriminator)を教師なし学習させた後, 生成器(Generator)を識別器を用いて学習させる.
Jensen-Shannon divergence を最小化(ほかにもある) 11
(3) GANとは 12 引用[4]
(3) GANとは 13 引用[4]
(4) GANの自然言語処理への応用 系列データにおけるGAN ・SeqGAN ・textGAN ・MaskGAN 他にも,対話などの言語生成に応用されている. 14 機械翻訳におけるGAN ・CS-GAN
・Local-GANとGlobal-GAN