文献紹介：Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network

長岡技術科学大学
自然言語処理研究室 B4
鈴木脩右

Transcript

1. 文献紹介 Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network 鈴木脩右 2019/6/4 長岡技術科学大学 自然言語処理研究室 1
2. 文献情報 [1] Xiangyang Zhou, Lu Li, Daxiang Dong, Yi Liu, Ying Chen, Wayne Xin Zhao, Dianhai Yu, and Hua Wu. Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1118–1127, Melbourne, Australia, July 2018. Association for Computational Linguistics. 2
3. 概要 • 対話文脈を用い，応答候補から応答を選択する対話モデ ル-DAM を提案 • Transformer をベースに，対話文脈を考慮する手法を提案 • 発話内の self-attention，発話と応答の cross-attention か ら返答を選択 • 応答選択タスクで SotA を達成 3
4. 背景 • 応答選択は用例ベースの対話システムで重要な役割を持つ • 応答生成の自動評価 (Lowe ら.2017)，GAN の識別器 (Li ら.2017) としても用いられる • 文脈と応答をまたがって異なる粒度で一致したペアを捉え ることが有効 (Wu ら.2017) • RNN では学習コストが大きい • Transformer(Vaswani ら.2017) をベースに拡張 4
5. 提案モデル Deep Attention Matching Network Figure 1: Overview of Deep Attention Matching Network.[1] 5
6. Attentionの役割 • self-attention • 階層構造にすることで，徐々に異なる粒度で意味構築を実現 • cross-attention • 文脈と応答の依存性を捉える 6
7. Representation Figure 2: Attentive Module.[1] 7
8. Matching 8
9. Aggregation • 各発話と応答に渡り全ての 部分一致度を三次元に集約 • マックスプーリングによる 2 層 3D 畳み込みを利用し， マッチング特徴を得る • 単相パーセプトロンを介し て，マッチングスコア g(c, r) を計算 9
10. データセット • Ubuntu Corpus • Ubuntu フォーラムの複数回対話が含まれる • テストセットは 50,000 文脈あり，各文脈には正しい応答 1 つが含 まれた 10 応答の選択肢がある • Douban Convesation Corpus • 中国の SNS から収集されたデータセット • テストセットは 10,000 文脈だが，構成は Ubuntu Corpus と同様 10
11. 実験結果 Table 1: Experimental results of DAM and other comparison approaches on Ubuntu Corpus V1 and Douban Conversation Corpus.[1] 11
12. まとめ • 対話文脈を用い，応答候補から応答を選択する対話モデ ル-DAM を提案 • 複数粒度での表現を集めるために，self-attention を階層構 造にして使用 • 発話と応答の依存性を cross-attention で捉える • 2 種類の attention が，話し言葉の理解など他の研究分野に 役立つ可能性がある 12