文献紹介:Hierarchical Recurrent Attention Network for Response Generation

長岡技術科学大学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 Hierarchical Recurrent Attention Network for Response Generation 鈴木脩右 2019/3/25 長岡技術科学大学 自然言語処理研究室 1
2. Reference [1] Chen Xing, Yu Wu, Wei Wu, Yalou Huang, and Ming Zhou. Hierarchical Recurrent Attention Network for Response Generation. In Thirty-Second AAAI Conference on Artificial Intelligence, April 2018. 2
3. Abstract • 雑談対話システムによるマルチターンでの応答生成に関す る研究 • 既存の階層モデルでは，重要な情報を失う可能性がある • 本研究では Hierarchical Recurrent Attention Network (HRAN) を提案 • 自動評価と人的評価で既存手法よりも優れていることを示 した 3
4. Introduction • 雑談対話システムにおいて， Encoder-Decoder モデルが一般的 • 会話の文脈を考慮しないため， マルチターンでの応答には不向き • HRED と VHRED(Serban ら．2016) 階層構造により，文脈を考慮 • 文脈中の重要部分を考慮してい ない • 階層的に Attention を導入し， 重要部分を注視 Figure 1: An example of multi-turn conversation[1] 4
5. 提案モデル Figure 2: Hierarchical Recurrent Attention Network[1] 5
6. データセット • SNS から１対１の約 166 万対話を抽出 • トレーニングデータ：100 万 • バリデーションデータ：1 万 • テストデータ：1000 6
7. ベースライン • S2SA：seq2seq+Attention • HRED：Hierarchical Recurrent Encoder Decoder • VHRED：HRED に VAE を組み合わせたもの 7
8. 自動評価 perplexity Table 1: Perplexity results[1] 8
9. 人的評価 • HRAN とベースライン (いず れか 1 つ) のどちらが良いか 比較 • 3 人のアノテーターが評価 • アノテーター間の一致度 は，Fleiss’ kappa で算出 Table 2: Human annotation results[1] 9
10. Attentionの可視化 Figure 3: Attention visualization.[1] 10
11. Conculusion • マルチターン応答生成のための HRAN を提案 • 自動評価と人的評価で HRAN が既存モデルを大幅に上回る ことを確認 11