文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding

長岡技術科学大学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding 鈴木脩右 2019/11/13 長岡技術科学大学 自然言語処理研究室 1
2. 文献情報 [1] Shohei Tanaka, Koichiro Yoshino, Katsuhito Sudoh, and Satoshi Nakamura. Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding. In Proceedings of the First Workshop on NLP for Conversational AI, pages 51–59, Florence, Italy, August 2019. Association for Computational Linguistics. 2
3. Abstract • 対話文脈から一貫した多様的な応答の生成を行うための手 法を提案 • イベントの因果関係を利用しリランキング • イベントの因果関係のマッチングに Role Factored Tensor Model(RFTM) を利用 • 人手評価と自動評価で一貫して多様な応答を選択している ことを確認 3
4. Introduction • 対話システムは対話文脈を考慮する能力に乏しいため，無 難な返答をしやすい • 因果関係の利用により多様で一貫した応答が生成できる (Fujita 2011) • 因果関係を含む応答候補のリランキングスコアを定義 • 因果関係ペアには Shibata らの大規模コーパス，イベントの 分散表現として Weber の RFTM を利用 4
5. Response Re-ranking Using Event Causality Relations 1. 対話文脈を与えて N-best の応答候補を生成 2. 対話文脈と応答候補からイベント (述語項構造) を抽出 3. 抽出したイベントを分散表現に変換 4. 応答候補をリランキング Figure 1: Neural conversational model+re-ranking using event causality[1] 5
6. Event Causality Pairs • cause-effect ペアは Shibata らのコーパスを利用し抽出 • 共起統計と格フレームをベースに抽出を行う • 各イベントは predicate(必須) と argument(任意) から構成 • lift はイベント間の相互情報量 Table 1: Example of event causality relations included in event causality pairs[1] 6
7. re-ranking score • p は対話システムが出力した応答候補の確率 • lift(eh , er ) は対話文脈中のイベント eh と応答候補中の er の lift スコア (ペアに無い場合は 2) • lift スコアは 10 10,000 と大きいため log スケールを取る • eh と er は 1 つとは限らないため，lift スコアは最も高いもの を選択 7
8. Distributed Event Representation Based on RFTM • コーパスのみでは因果関係の決定は困難なため，分散表現 を利用 • 全イベントは固定長のベクトルに変換され，類似度を計算 • イベントを「predicate 単体」か「predicate-arguments ペ ア」と定義 • predicate は vp ，arugment は va にそれぞれ skip-gram で埋 め込み • イベントの埋め込みは RFTM を利用．特定のコンテキストに おける意味表現を獲得可能 8
9. Event Causality Relation Matching • イベントペアを与え，最も cos 類似度が 高いイベントを取得 • li ft スコアを下記に拡張 (ec ,ee は原因と 結果のイベント) • 原因と結果が逆になっているケースも 計算 Figure 2: Event causality relation matching[1] 9
10. Experiments • 応答の評価は，自動評価，人手評価を行う • 応答生成モデルには EncDec+Atten と HRED • skip-gram，RFTM の学習に Wikipedia を利用．RFTM には毎 日新聞のデータも利用． • 対話データには Twitter を利用．2632K の対話，平均 22 ター ン，平均 22 単語長 10
11. Diversity of Beam Search • ビーム幅 20 で応答生成モデルの多様性を測定 • HRED より EncDec の方が高い Table 2: Diversity of N-best Response Candidates[1] 11
12. Comparison in Automatic Metrics Table 3: Comparison results before and after re-ranking[1] 12
13. Comparison in Automatic Metrics • re-ranking は BLUE, NIST, extrema で低い．これらのスコア は参照応答と近しいかを測るため • Dist-2 と PMI から，多様性と一貫性が改善．しかし， re-ranking の効果は限定的 • イベント埋め込みにより，re-ranking の適用率が改善 13
14. Human Evaluation • HRED,re-ranking,re-ranking(emb) で比較 • 一貫性:対話文脈に関連した応答はどちらか，連続性:どちら の応答が応答としてふさわしいか • 一貫性において，re-ranking(emb) で悪化．埋め込みによる 一般化は良しとされなかった Table 4: Human evaluation[1] 14
15. Discussion • 一貫して多様な応答の生成例 (左)．ただし，これが主要なも のではない • 一貫した応答が選ばれたが不適切な因果関係を利用 (右)．こ の場合は (風邪を引く→咳が止まる) 15
16. Discussion • これらより 2 つの問題を仮定 • イベント埋め込みは一般化したイベントを利用．過剰な一 般化を避ける必要がある • 一貫性にのみ注目しており，応答の自然さに着目していない 16
17. Conclusion • 応答候補を因果関係を用いて re-ranking する手法を提案 • イベント埋め込みなどを利用することで手法をロバストな ものに • 結果より，一貫して多様な応答を選択することができた • 本実験では日本語で行ったが，本手法は特に言語を問わない • future work として，イベントの過剰一般化や自然さの改善 が挙げられる 17