文献紹介：A Latent Variable Recurrent Neural Network for Discourse Relation Language Models

Transcript

1. A Latent Variable Recurrent Neural Network
   for Discourse Relation Language Models
   文献紹介
   2019/10/21
   長岡技術科学大学
   自然言語処理研究室 吉澤 亜斗武
   

   View Slide

2. Abstract
   ・単語のシーケンスや隣接する文の潜在的な談話関係を
   モデル化する潜在変数RNN（LVRNN）を提案
   ・談話関係を潜在変数で表し，タスクに応じて予測または
   周辺化することが可能
   ・談話関係の分類，対話行為の分類，談話における言語モデルの
   タスクで先行研究よりも優れていることを示した．
   2
   

   View Slide

3. 1. Introduction
   ・ニューラルモデルは確率的グラフィカルモデルと比べ，
   柔軟性がない．
   ・先行研究では，きれいに複数の言語を扱うモデルを扱えている．
   ・確率的グラフィカルモデルは層が多すぎるとtrainが困難
   ・RNN言語モデルと談話関係を表す潜在変数モデルを
   組み合わせたハイブリッドモデルを提案
   3
   

   View Slide

4. 1. Introduction
   ・また，提案モデルはVAE を必要とするRNNの複雑なモデル
   でなく，実装及びトレーニングが簡単である．
   ・提案モデルでは浅い談話関係に焦点を当てており，
   談話全体の内容を補足していない．
   ・先行研究より談話関係分類，対話行為分類においては有効
   ・提案モデルは当時のSotAよりも優れている．
   4
   

   View Slide

5. 2. Background
   5
   RNNLM
   token in a sentence by ,
   ∈ 1 … and
   = , ∈ 1…
   

   View Slide

6. 2. Background
   6
   RNNLMの欠点の一つは文間の情報を伝搬できない．
   Document Context Language Model (DCLM)
   −1
   ：前の文の最後の隠れ状態
   

   View Slide

7. 3.1 Discourse Relation Language Models
   7
   浅い談話関係をもつ潜在変数
   を導入
   

   View Slide

8. 3.1 Discourse Relation Language Models
   8
   潜在変数
   はコンテキスト情報のベクトルの要約
   

   View Slide

9. 3.2 Inference
   9
   談話関係は少数なので推論が簡単に
   

   View Slide

10. 3.3 Learning
    10
    Joint likelihood objective : 言語モデルと談話関係予測のタスク
    Conditional objective：談話関係予測のタスク
    

    View Slide

11. 4.1 Data
    11
    ・Penn Discourse Treebank (PDTB)
    annotated on a corpus of Wall Street Journal acticles
    ・ Switchboard dialogue act corpus (SWDA)
    annotated on a collections of phone conversations
    両方とも談話関係と対話関係の注釈が含まれている．
    

    View Slide

12. 4.2 Implementation
    12
    詳細は論文で
    ・単層LSTM
    ・初期化：ランダム（ただし, は別途設定）
    ・学習：AdaGrad 初期学習率λ＝0.1，
    ドロップアウトτ＝0.5
    ・ハイパーパラメータ：次元数などはグリッドサーチ
    

    View Slide

13. 5.1 Implicit discourse relation prediction on the PDTB
    13
    両方の提案手法が既存の
    手法よりも優れた結果に．
    二項検定の結果も良い
    

    View Slide

14. 5.2 Dialogue Act tagging
    14
    精度が既存のものよりもよ
    く，二項検定も良い結果に
    （F1非公開）
    

    View Slide

15. 5.3 Discourse-aware language modeling
    15
    

    View Slide

16. 5.3 Discourse-aware language modeling
    16
    ・ベースラインに談話関連情報を追加することで，
    談話関係の曖昧さを解消がおき，優れた結果になった．
    ・トレーニングに談話注釈が必要なため大規模なデータセットに
    対応した言語モデリングではない．
    ・談話関係は周辺化しているので，
    もっと良いトレーニング方法があるのではと考察
    

    View Slide

17. 7 Conclusion
    17
    ・隣接するシーケンス間の浅い談話の関係に関する
    確率的ニューラルモデルを提案
    ・確率的表現を維持しながら識別訓練されたベクトル表現を学習
    ・2つの談話関係検出タスクでStoAよりも優れており，
    言語モデルとしても適用できることがわかった．
    ・モデルのスケールアップが今後の課題
    

    View Slide