文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models

長岡技術科学大学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models 鈴木脩右 2019/12/17 長岡技術科学大学 自然言語処理研究室 1
2. 文献情報 [1] Zhiliang Tian, Rui Yan, Lili Mou, Yiping Song, Yansong Feng, and Dongyan Zhao. How to make context more useful? an empirical study on context-aware neural conversational models. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 231–236, Vancouver, Canada, July 2017. Association for Computational Linguistics. 2
3. Abstract • 対話コンテキストを利用した生成モデルの研究 • 対話コンテキスト情報の影響を調査 • コンテキストベクトルに重み付けを行うモデルを提案 • 対話コンテキストとクエリの関連性によって明示的な重み 付け • 提案モデルはベースラインを上回る 3
4. Introduction • 生成ベースの対話システムは，seq2seq によりクエリ (ユー ザ発話) から応答を生成する手法が主流 • コンテキスト (この論文ではクエリより前の対話文) の重要 性が認識されている • コンテキストとクエリを直接連結して入力 (Yan ら.2016) • 階層エンコーダーによって，対話コンテキストとクエリを エンコードしてから統合 (Serba ら.2015) • コンテキストとクエリを，concat や pooling して組み合わ せる方法 (Sordoni ら.2015) 4
5. Introduction • 本論文では以下の二点に着目 • コンテキスト情報はどうすれば有効に活用できるか • コンテキストはどのような影響を与えるか • 本論文の貢献は以下の二点 • ニューラル対話モデルのコンテキストモデリングによる体系的な 研究 • 他のベースラインよりも優れた明示的なコンテキストの重み付け を提案 5
6. Non-Hierarchical Model • コンテキストとクエリを直接連結し，単一のモデルに入力 • シンプルな seq2seq モデルを使用 • RNN は GRU を使用 6
7. Hierarchical Model • 個々の発話をベクトルにし，統合 • Sum pooling(Sum) - 発話ベクトル を足し合わせて集約 • Concatenation(Concat) - 発話ベク トルを連結 • Sequential integration(Seq) - 文間 RNN を利用して発話ベクトルを順 次結合 Figure 1: The inter-utterance hierarchical models.[1] 7
8. Explicitly Weighting by Context-Query Relevance • コンテキストがクエリと関連する場合，コンテキスト情報 は有用 • コンテキストがクエリと関連しない場合，コンテキスト情 報はノイズ • これを解決するため，コンテキストとクエリの関連性を重 み付けする 8
9. Explicitly Weighting by Context-Query Relevance • 文間 RNN の出力に重み付けし，合計 (Wseq(sum)) か連結 (Wseq(concat)) を行う • 文間 RNN が無くても，発話ベクトルに重み付けすることで 適用可能 (Wsum，Wconcat) 9
10. Experiments -Setup- • 中国語のデータセットを使用 (Baidu Tieba からクロール) • ラストコンテキスト，クエリ，応答のセットを 1 サンプルと して与えるは • サンプル数は Train:500,000,Valid:2000,Test:4000 • 埋め込み次元は 620，隠れ状態は 1000，最適化には AdaDelta を使用 • 評価指標は BLEU 10
11. Results Table 1: Performance of different models.[1] 11
12. How can we make better use of context information? • 階層構造は非階層構造よりもコンテキスト情報を扱うのに 有効 • 異なる発話文を別々に保つことが重要 (Sum より Concat が 優れている) • コンテキストとクエリの関連性スコアは有効 12
13. What is the effect of context on neural dialog systems? • 文長，エントロピー，多様性についても評価 • コンテキストを考慮するモデルが，より長く，より多様な 応答を生成 Table 2: The length, entropy, and diversity of the replies on the context-insensitive and contextaware (WSeq,concat) methods.[1] 13
14. Conclusion • 対話生成モデルにおけるコンテキストの効果を分析 • 既存手法と提案手法の比較を行った • 階層モデルは非階層モデルより優れている • 重み付けによりクエリとコンテキストの関連性に伴い，強 調や抑制が可能 • コンテキスト情報により，より長くより意味のある発話を 生成 14