VAE and GAN

7b478cab8e68f81b1f6830077b6649ca?s=47 Atom
February 28, 2019
71

VAE and GAN

7b478cab8e68f81b1f6830077b6649ca?s=128

Atom

February 28, 2019
Tweet

Transcript

  1. VAEとGAN 自然言語処理における生成モデル 第8回 B3勉強会 2019/2/28 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武

  2. 参考文献・資料 [1] IIBMP2016:深層生成モデルによる表現学習 https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation- learning [2] @kenchin110100:AutoEncoder, VAE, CVAEの比較 〜なぜVAEは

    連続的な画像を生成できるのか?〜 https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a [3] @thetenthart:CVAEによるキャラクターの台詞の生成と、口調変換 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 2
  3. 参考文献・資料 [4] @triwave33:今さら聞けないGAN(1) 基本構造の理解 https://qiita.com/triwave33/items/1890ccc71fab6cbca87e [5] 鈴木雅大: GAN(と強化学習の関係) https://www.slideshare.net/masa_s/gan-83975514 [6]

    小町守:言語処理におけるGANの展開 https://www.slideshare.net/mamoruk/jsai2018gan4nlp 3
  4. Contents (1) VAEの復習 (2) CVAE (3) GANとは (4) GANの自然言語処理への応用 4

  5. (1) VAEの復習 ・Variational Auto-encoder 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 入力を受けて出力が確率的に決まる KL divergenceを最小化

    5
  6. (1) VAEの復習 6 引用[2]

  7. (1) VAEの復習 引用[1] 7

  8. (2) CVAE ・Conditional Variational Auto-encoder 半教師あり学習(Encoder, Decoderに正解ラベルを付与) VAEでは出力が確率的に決まるが,CVAEではある程度 指定できる. 参考文献[3]によれば,キャラクターごとの口調や文体表現を

    ある程度指定して,生成(変換)できるのではないかと されている. 8
  9. (2) CVAE 9 引用[2]

  10. (2) CVAE 10 引用[3]

  11. (3) GANとは ・Generative Adversarial Networks 教師なし学習の一つ 生成モデル(Generrative model)のニューラルネット 識別器(Discriminator)を教師なし学習させた後, 生成器(Generator)を識別器を用いて学習させる.

    Jensen-Shannon divergence を最小化(ほかにもある) 11
  12. (3) GANとは 12 引用[4]

  13. (3) GANとは 13 引用[4]

  14. (4) GANの自然言語処理への応用 系列データにおけるGAN ・SeqGAN ・textGAN ・MaskGAN 他にも,対話などの言語生成に応用されている. 14 機械翻訳におけるGAN ・CS-GAN

    ・Local-GANとGlobal-GAN