VAE and GAN

Transcript

1. VAEとGAN 自然言語処理における生成モデル 第8回 B3勉強会 2019/2/28 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武

2. 参考文献・資料 [1] IIBMP2016：深層生成モデルによる表現学習 https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation- learning [2] @kenchin110100：AutoEncoder, VAE, CVAEの比較 〜なぜVAEは

   連続的な画像を生成できるのか？〜 https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a [3] @thetenthart：CVAEによるキャラクターの台詞の生成と、口調変換 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 2

3. 参考文献・資料 [4] @triwave33：今さら聞けないGAN（1） 基本構造の理解 https://qiita.com/triwave33/items/1890ccc71fab6cbca87e [5] 鈴木雅大： GAN（と強化学習の関係） https://www.slideshare.net/masa_s/gan-83975514 [6]

   小町守：言語処理におけるGANの展開 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 3

4. Contents (1) VAEの復習 (2) CVAE (3) GANとは (4) GANの自然言語処理への応用 4

5. (1) VAEの復習 ・Variational Auto-encoder 教師なし学習の一つ 生成モデル（Generrative model）のニューラルネット 入力を受けて出力が確率的に決まる KL divergenceを最小化

   5

6. (1) VAEの復習 6 引用[2]

7. (1) VAEの復習 引用[1] 7

8. (2) CVAE ・Conditional Variational Auto-encoder 半教師あり学習（Encoder, Decoderに正解ラベルを付与） VAEでは出力が確率的に決まるが，CVAEではある程度 指定できる． 参考文献[3]によれば，キャラクターごとの口調や文体表現を

   ある程度指定して，生成（変換）できるのではないかと されている． 8

9. (2) CVAE 9 引用[2]

10. (2) CVAE 10 引用[3]

11. (3) GANとは ・Generative Adversarial Networks 教師なし学習の一つ 生成モデル（Generrative model）のニューラルネット 識別器（Discriminator）を教師なし学習させた後， 生成器（Generator）を識別器を用いて学習させる．

    Jensen-Shannon divergence を最小化（ほかにもある） 11

12. (3) GANとは 12 引用[4]

13. (3) GANとは 13 引用[4]

14. (4) GANの自然言語処理への応用 系列データにおけるGAN ・SeqGAN ・textGAN ・MaskGAN 他にも，対話などの言語生成に応用されている． 14 機械翻訳におけるGAN ・CS-GAN

    ・Local-GANとGlobal-GAN