文献紹介: Generating Sentences from a Continuous Space

2018/05/11の文献紹介で発表

Transcript

1. Generating Sentences
   from a Continuous Space
   Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, Andrew M. Dai,

   Rafal Jozefowicz & Samy Bengio.
   Proceedings of the 20th SIGNLL Conference on Computational
   Natural Language Learning (CoNLL), pages 10–21, 2016.
   文献紹介 2018/05/11
   長岡技術科学大学　自然言語処理研究室
   稲岡　夢人
   

   View Slide

2. Abstract
   •文全体の分散表現を組込んだRNNベースの

   Variational AutoEncoderに関する研究
   •スタイル、話題、構文的特徴などの文全体の特徴をモデル化
   •文間の潜在空間の経路を調べることで、その間にある文を

   新たに生成することができる
   !2
   

   View Slide

3. Abstract
   •提案モデルを学習させる際の問題を解決する手法の提案
   •欠落した語を復元させる効果を実証
   •文の潜在空間について興味深い特性について調査
   •提案モデルを言語モデルとして使用することについて

   否定的な結果を提示
   !3
   

   View Slide

4. Introduction
   •RNNLMは状態に基づいて文を単語毎に生成

   ← トピックや構文的特徴など文全体の特徴を解釈可能な

   　　状態で出力しない
   •Variational AutoEncoderの構造を用いたモデルに

   実用的な訓練手法を利用

   → 文全体の特徴を連続潜在変数として捕捉
   !4
   

   View Slide

5. Unsupervised sentence encoding
   •Sequence AutoEncoder

   → 中間の表現からは妥当な文が出力できない
   •Skip-thought model
   •Paragraph Vector
   !5
   

   View Slide

6. Variational AutoEncoder
   •潜在変数を確率分布に落とし込んだモデル
   •潜在変数を単一の点としてではなく潜在空間の領域と

   なるように学習

   → 一般にはガウス分布になるよう近づける
   •学習では真の分布とEncoderの分布のKL divergenceと

   入出力の差を損失としてそれを小さくする
   !6
   

   View Slide

7. VAE for sentences
   •single-layer LSTMをencoder, decoderに用いる

   テキストのVAEを提案
   !7
   

   View Slide

8. Optimization
   •非ゼロなKL-divergence項と小さなcross entropyを

   持つようなエンコーダが理想的
   •普通の実装ではKL-divergence項は0になる
   •KL cost annealingを用いる
   !8
   

   View Slide

9. Optimization
   •エンコーダに対して強いデコーダを弱めるために

   Word dropout and historyless decodingを行う
   •入力系列の単語を確率的にUNKに置換
   !9
   

   View Slide

10. Experiments (Language Modeling)
    •Penn Treebankを用いて言語モデルを学習
    •NLLとPPLで評価
    •VAEの方が悪い結果であるが、Inputless Decoderでは

    KL lossを含めても性能が向上
    !10
    

    View Slide

11. Experiments

    (Imputing missing words)
    •VAEは欠落語の入力に適している
    !11
    

    View Slide

12. Impact of word dropout
    •100% word keepでは典型的な文が出力

    0% word keepでは文法的でない文が出力
    !12
    

    View Slide

13. Sampling from the posterior
    •エンコーダの出力分布の平均、3つのサンプルをデコード
    •文長とトピックは捉えられている
    •文が長くなると出力は多様になる
    !13
    

    View Slide

14. Homotopies
    •variationalの方が中間の文が

    文法的でトピックが一貫する
    !14
    

    View Slide

15. Conclusion
    •自然言語文にVAEを使用する方法の提案
    •提案モデルによる欠落語の復元の効果を示した
    •潜在変数間のサンプリングから一貫性のある多様な文を

    生成できることを示した
    !15
    

    View Slide