VAE and GAN

Transcript

1. VAEとGAN
   自然言語処理における生成モデル
   第8回 B3勉強会
   2019/2/28
   長岡技術科学大学
   自然言語処理研究室 吉澤 亜斗武
   

   View Slide

2. 参考文献・資料
   [1] IIBMP2016：深層生成モデルによる表現学習
   https://www.slideshare.net/pfi/iibmp2016-okanohara-deep-generative-models-for-representation-
   learning
   [2] @kenchin110100：AutoEncoder, VAE, CVAEの比較 〜なぜVAEは
   連続的な画像を生成できるのか？〜
   https://qiita.com/kenchin110100/items/7ceb5b8e8b21c551d69a
   [3] @thetenthart：CVAEによるキャラクターの台詞の生成と、口調変換
   https://www.slideshare.net/mamoruk/jsai2018gan4nlp
   2
   

   View Slide

3. 参考文献・資料
   [4] @triwave33：今さら聞けないGAN（1） 基本構造の理解
   https://qiita.com/triwave33/items/1890ccc71fab6cbca87e
   [5] 鈴木雅大： GAN（と強化学習の関係）
   https://www.slideshare.net/masa_s/gan-83975514
   [6] 小町守：言語処理におけるGANの展開
   https://www.slideshare.net/mamoruk/jsai2018gan4nlp
   3
   

   View Slide

4. Contents
   (1) VAEの復習
   (2) CVAE
   (3) GANとは
   (4) GANの自然言語処理への応用
   4
   

   View Slide

5. (1) VAEの復習
   ・Variational Auto-encoder
   教師なし学習の一つ
   生成モデル（Generrative model）のニューラルネット
   入力を受けて出力が確率的に決まる
   KL divergenceを最小化
   5
   

   View Slide

6. (1) VAEの復習
   6
   引用[2]
   

   View Slide

7. (1) VAEの復習
   引用[1]
   7
   

   View Slide

8. (2) CVAE
   ・Conditional Variational Auto-encoder
   半教師あり学習（Encoder, Decoderに正解ラベルを付与）
   VAEでは出力が確率的に決まるが，CVAEではある程度
   指定できる．
   参考文献[3]によれば，キャラクターごとの口調や文体表現を
   ある程度指定して，生成（変換）できるのではないかと
   されている．
   8
   

   View Slide

9. (2) CVAE
   9
   引用[2]
   

   View Slide

10. (2) CVAE
    10
    引用[3]
    

    View Slide

11. (3) GANとは
    ・Generative Adversarial Networks
    教師なし学習の一つ
    生成モデル（Generrative model）のニューラルネット
    識別器（Discriminator）を教師なし学習させた後，
    生成器（Generator）を識別器を用いて学習させる．
    Jensen-Shannon divergence を最小化（ほかにもある）
    11
    

    View Slide

12. (3) GANとは
    12
    引用[4]
    

    View Slide

13. (3) GANとは
    13
    引用[4]
    

    View Slide

14. (4) GANの自然言語処理への応用
    系列データにおけるGAN
    ・SeqGAN
    ・textGAN
    ・MaskGAN
    他にも，対話などの言語生成に応用されている．
    14
    機械翻訳におけるGAN
    ・CS-GAN
    ・Local-GANとGlobal-GAN
    

    View Slide