Upgrade to Pro — share decks privately, control downloads, hide ads and more …

VAE and GAN

Atom
February 28, 2019
150

VAE and GAN

Atom

February 28, 2019
Tweet

More Decks by Atom

Transcript

  1. VAEとGAN
    自然言語処理における生成モデル
    第8回 B3勉強会
    2019/2/28
    長岡技術科学大学
    自然言語処理研究室 吉澤 亜斗武

    View Slide

  2. 参考文献・資料
    [1] IIBMP2016:深層生成モデルによる表現学習
    https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation-
    learning
    [2] @kenchin110100:AutoEncoder, VAE, CVAEの比較 〜なぜVAEは
    連続的な画像を生成できるのか?〜
    https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a
    [3] @thetenthart:CVAEによるキャラクターの台詞の生成と、口調変換
    https://www.slideshare.net/mamoruk/jsai2018gan4nlp
    2

    View Slide

  3. 参考文献・資料
    [4] @triwave33:今さら聞けないGAN(1) 基本構造の理解
    https://qiita.com/triwave33/items/1890ccc71fab6cbca87e
    [5] 鈴木雅大: GAN(と強化学習の関係)
    https://www.slideshare.net/masa_s/gan-83975514
    [6] 小町守:言語処理におけるGANの展開
    https://www.slideshare.net/mamoruk/jsai2018gan4nlp
    3

    View Slide

  4. Contents
    (1) VAEの復習
    (2) CVAE
    (3) GANとは
    (4) GANの自然言語処理への応用
    4

    View Slide

  5. (1) VAEの復習
    ・Variational Auto-encoder
    教師なし学習の一つ
    生成モデル(Generrative model)のニューラルネット
    入力を受けて出力が確率的に決まる
    KL divergenceを最小化
    5

    View Slide

  6. (1) VAEの復習
    6
    引用[2]

    View Slide

  7. (1) VAEの復習
    引用[1]
    7

    View Slide

  8. (2) CVAE
    ・Conditional Variational Auto-encoder
    半教師あり学習(Encoder, Decoderに正解ラベルを付与)
    VAEでは出力が確率的に決まるが,CVAEではある程度
    指定できる.
    参考文献[3]によれば,キャラクターごとの口調や文体表現を
    ある程度指定して,生成(変換)できるのではないかと
    されている.
    8

    View Slide

  9. (2) CVAE
    9
    引用[2]

    View Slide

  10. (2) CVAE
    10
    引用[3]

    View Slide

  11. (3) GANとは
    ・Generative Adversarial Networks
    教師なし学習の一つ
    生成モデル(Generrative model)のニューラルネット
    識別器(Discriminator)を教師なし学習させた後,
    生成器(Generator)を識別器を用いて学習させる.
    Jensen-Shannon divergence を最小化(ほかにもある)
    11

    View Slide

  12. (3) GANとは
    12
    引用[4]

    View Slide

  13. (3) GANとは
    13
    引用[4]

    View Slide

  14. (4) GANの自然言語処理への応用
    系列データにおけるGAN
    ・SeqGAN
    ・textGAN
    ・MaskGAN
    他にも,対話などの言語生成に応用されている.
    14
    機械翻訳におけるGAN
    ・CS-GAN
    ・Local-GANとGlobal-GAN

    View Slide