A Latent Variable Recurrent Neural Network for Discourse Relation Language Models 文献紹介 2019/10/21 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武

Abstract ・単語のシーケンスや隣接する文の潜在的な談話関係を モデル化する潜在変数RNN（LVRNN）を提案 ・談話関係を潜在変数で表し，タスクに応じて予測または 周辺化することが可能 ・談話関係の分類，対話行為の分類，談話における言語モデルの タスクで先行研究よりも優れていることを示した． 2

1. Introduction ・ニューラルモデルは確率的グラフィカルモデルと比べ， 柔軟性がない． ・先行研究では，きれいに複数の言語を扱うモデルを扱えている． ・確率的グラフィカルモデルは層が多すぎるとtrainが困難 ・RNN言語モデルと談話関係を表す潜在変数モデルを 組み合わせたハイブリッドモデルを提案 3

1. Introduction ・また，提案モデルはVAE を必要とするRNNの複雑なモデル でなく，実装及びトレーニングが簡単である． ・提案モデルでは浅い談話関係に焦点を当てており， 談話全体の内容を補足していない． ・先行研究より談話関係分類，対話行為分類においては有効 ・提案モデルは当時のSotAよりも優れている． 4

2. Background 5 RNNLM token in a sentence by , ∈ 1 … and = , ∈ 1…

2. Background 6 RNNLMの欠点の一つは文間の情報を伝搬できない． Document Context Language Model (DCLM) −1 ：前の文の最後の隠れ状態

3.1 Discourse Relation Language Models 7 浅い談話関係をもつ潜在変数 を導入

3.1 Discourse Relation Language Models 8 潜在変数 はコンテキスト情報のベクトルの要約

3.2 Inference 9 談話関係は少数なので推論が簡単に

3.3 Learning 10 Joint likelihood objective : 言語モデルと談話関係予測のタスク Conditional objective：談話関係予測のタスク

4.1 Data 11 ・Penn Discourse Treebank (PDTB) annotated on a corpus of Wall Street Journal acticles ・ Switchboard dialogue act corpus (SWDA) annotated on a collections of phone conversations 両方とも談話関係と対話関係の注釈が含まれている．

4.2 Implementation 12 詳細は論文で ・単層LSTM ・初期化：ランダム（ただし, は別途設定） ・学習：AdaGrad 初期学習率λ＝0.1， ドロップアウトτ＝0.5 ・ハイパーパラメータ：次元数などはグリッドサーチ

5.1 Implicit discourse relation prediction on the PDTB 13 両方の提案手法が既存の 手法よりも優れた結果に． 二項検定の結果も良い

5.2 Dialogue Act tagging 14 精度が既存のものよりもよ く，二項検定も良い結果に （F1非公開）

5.3 Discourse-aware language modeling 15

5.3 Discourse-aware language modeling 16 ・ベースラインに談話関連情報を追加することで， 談話関係の曖昧さを解消がおき，優れた結果になった． ・トレーニングに談話注釈が必要なため大規模なデータセットに 対応した言語モデリングではない． ・談話関係は周辺化しているので， もっと良いトレーニング方法があるのではと考察

7 Conclusion 17 ・隣接するシーケンス間の浅い談話の関係に関する 確率的ニューラルモデルを提案 ・確率的表現を維持しながら識別訓練されたベクトル表現を学習 ・2つの談話関係検出タスクでStoAよりも優れており， 言語モデルとしても適用できることがわかった． ・モデルのスケールアップが今後の課題