文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables

長岡技術科学大学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables 鈴木脩右 2019/10/09 長岡技術科学大学 自然言語処理研究室 1
2. 文献情報 [1] Lei Shen, Yang Feng, and Haolan Zhan. Modeling semantic relationship in multi-turn conversations with hierarchical latent variables. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pages 5497–5502, Florence, Italy, July 2019. Association for Computational Linguistics. 2
3. Abstract • マルチターンの対話システム，Conversational Semantic Relationship RNN (CSRR) を提案 • 発話間の意味的関係性を捉えられる • VHRED に 3 つの潜在変数を追加 • Ubuntu Dialog Corpus，Cornel Movie Dialog Corpus で ベースラインを上回る 3
4. Introduction • 人の対話はマルチターンであり，その応答は対話文脈に依存 • 対話文脈に対する先行研究 • HRED - 対話履歴情報を RNN で統合 (Serban et al.2015) • VHRED - VAE を導入し，多様性，発話間の意味を学習 (Serban et al.2016) • Wseq - 発話とクエリ間の類似度スコアを重み付け和で表現 (Tian et al.2017) • HRAN - 発話履歴と単語レベルに Attention(Xing et al.2018) • 対話文脈へのアプローチには発話間の意味的関係性を理解 することが重要 • この問題には VAE が有効だと考えられる 4
5. Introduction • VAE を導入することで，多様性，発話間の意味を学習 • しかし，クエリと応答間の関係性にも注意を払う必要がある • 提案手法の CSRR は談話レベルの潜在変数によって，クエリ 応答間の一貫した意味をモデル化 • クエリ・応答ペアによって共有された共通潜在変数を用い て，クエリの特定的な意味と応答をそれぞれの潜在変数で モデル化し，内容の違いを把握 5
6. Approach • {ut }n−1 t=0 が与えられた時， un−1 がクエリで他が対話文 脈，un が応答 • VHRED に 3 つの階層の潜在 変数を追加 • zc - 会話が行われる全体背 景をコントロール • zp - クエリと応答ペアにお けるトピックの一貫性を捉 える • zr - 内容の違いをモデル化 Figure 1: Graphical model of CSRR.[1] 6
7. Context Representation • 各発話 ut を BiGRU で vt にエンコード • zc は談話レベルの潜在変数でガウス分布を事前分布とする • zc の推論のために，BiGRU fc を学習セットにおける全ての 発話ベクトル v に利用 7
8. Query-Response Relationship Modeling • VAE ではテキストは潜在変数から生成できる • zp をクエリと応答ペアにおけるトピックをモデル化するた めに利用 • zp はエンコードされた発話 hcn−1 と応答の潜在変数 zc からガ ウス分布を仮定してサンプルされる 8
9. Training • un−1 と un を生成に式２０を利用 • 目的関数は式 21 • 生成確率を最大化し，KL ダイバージェンスによって調整 9
10. Experiment • コーパス (３発話以上あるものを利用) • Ubuntu Dialog Corpus • Cornell Movie Dialog Corpus • ベースライン • HRED • VHRED • VHCR 10
11. Evaluation • 自動評価 • Average，Greedy，Extrema - 埋め込みベースで生成応答とラベル の意味類似度の評価尺度 • Dist1，Dist2 - 多様性の評価尺度 • 人手評価 • 以下の観点から 1 5 のスケールで評価 • Fluency - 生成されたテキストが文法的に正しいか • Coherence - 応答と文脈間で意味的一貫性はあるか • Informativeness - 応答が意味のあるもので，単語の使い方は正しいか 11
12. Results Table 1: Automatic and human evaluation results on Ubuntu Dialog Corpus and Cornell Movie Dialog Corpus.[1] 12
13. Case Study Table 2: Examples generated by CSRR model and other baselines.[1] 13
14. Conclusion • マルチターン対話における意味的依存性を学習するモデル CSRR を提案 • 3 つの階層的潜在変数を意味的関係性を捉えるために利用 • 自動評価および人手評価でベースラインを上回った • future work としては，トピック変化に対する強化学習など も導入したい 14