文献紹介:Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出

長岡技術科学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 Quasi-Recurrent Neural Networks に基づく対話モデ ルを用いた対話破綻検出 鈴木脩右 2019/3/21 長岡技術科学大学 自然言語処理研究室 1
2. Reference [1] 田中 涼太 and 李 晃伸. Quasi-Recurrent Neural Networks に基づく対話モデルを用 いた対話破綻検出. In 人工知能学会全国大会論文集第 32 回全国大会 (2018), pages 4G101–4G101. 一般社団法人人工知能学会, 2018. 2
3. はじめに • 雑談対話システムにおいて，対話破綻が発生することが問 題となっている • 対話破綻の検出手法として，Neural Conversational Model (NCM) を用いるものがある → RNN を用いるため学習に時間がかかる • 本研究では Quansi-RNN(QRNN) を NCM に用いることで学 習の高速化，性能向上を図った 3
4. 対話モデルを用いた対話破綻検出 • 対話破綻検出のメリット • システムが発話前後で対話破綻を認識可能となる • 対話破綻の事前回避，リカバリが期待できる • 対話破綻検出の課題 • 対話中に破綻検出を行う必要がある • 対話モデルと破綻検出を統合した枠組みで考える • NCM(seq2seq モデル) • Encoder で発話の単語列を読み込む • Decoder で応答文を出力 4
5. 先行研究 • NCM を拡張し，Encoder と Decoder の最終時刻の隠れ層を 素性に分類器を作成 (小林ら) • 対話データのアノテーションを分布に基づいて学習データ を拡張 (久保ら) 5
6. 提案モデル概要 1. O, △,X のアノテーション分布に基づいて応答文の末尾に対 話破綻ラベルを付与 2. 上記データを元に対話モデルを QRNN で学習 3. 発話文，応答文埋め込みベクトル vi ,vo を獲得 4. vi ,vo を素性に SVM で識別 6
7. 提案モデル図 Figure 1: 提案モデル [1] 7
8. QRNN • 畳み込み層と再帰構造を持つプーリング層の 2 層により構 成されるニューラルネット • 畳み込みには未来の時刻情報を含まないように k − 1 のパ ディングを入れる Masked Convolution を用いる • プーリング層では過去の履歴を考慮しつつ畳み込みで得ら れた局所特徴量の集約を行う → 文脈を考慮した解釈が可能 8
9. 発話文と応答文の特徴量抽出 • 対話モデルの Encoder と Decoder の最終時刻における隠れ 層を特徴量として抽出 • 最終時刻における隠れ層は発話の大局情報 (単語やフレーズ などの局所情報を時間軸に沿いまとめたもの) • 大局的に対話破綻を検出できる 9
10. データセット(1) • 対話破綻検出チャレンジ 1,2 を使用 • 対話データには以下のラベルでアノテートされている • O 破綻ではない：問題なく対話が継続できる • △ 違和感がある：スムーズな対話継続が困難 • X 破綻している：対話の継続が困難 10
11. データセット(2) Table 1: 配布データセット [1] 11
12. 実験結果 Figure 2: 学習速度 [1] Table 2: 破綻検出の結果 [1] 12
13. おわりに • QRNN を用いて，高速かつ高精度な対話破綻検出器を構築 • 学習速度が約 3.2 倍の高速化を実現 • 文脈に沿った大局的な学習が可能になり，検出精度が改善 • 対話破綻検出器の素性の最適化，対話モデルに用いる学習 データに大規模なデータセットを用いることが課題 13