Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介:Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出

文献紹介:Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出

長岡技術科学
自然言語処理研究室
鈴木脩右

shu_suzuki

March 21, 2019
Tweet

More Decks by shu_suzuki

Other Decks in Technology

Transcript

  1. Reference [1] 田中 涼太 and 李 晃伸. Quasi-Recurrent Neural Networks

    に基づく対話モデルを用 いた対話破綻検出. In 人工知能学会全国大会論文集第 32 回全国大会 (2018), pages 4G101–4G101. 一般社団法人人工知能学会, 2018. 2
  2. はじめに • 雑談対話システムにおいて,対話破綻が発生することが問 題となっている • 対話破綻の検出手法として,Neural Conversational Model (NCM) を用いるものがある

    → RNN を用いるため学習に時間がかかる • 本研究では Quansi-RNN(QRNN) を NCM に用いることで学 習の高速化,性能向上を図った 3
  3. 対話モデルを用いた対話破綻検出 • 対話破綻検出のメリット • システムが発話前後で対話破綻を認識可能となる • 対話破綻の事前回避,リカバリが期待できる • 対話破綻検出の課題 •

    対話中に破綻検出を行う必要がある • 対話モデルと破綻検出を統合した枠組みで考える • NCM(seq2seq モデル) • Encoder で発話の単語列を読み込む • Decoder で応答文を出力 4
  4. 先行研究 • NCM を拡張し,Encoder と Decoder の最終時刻の隠れ層を 素性に分類器を作成 (小林ら) •

    対話データのアノテーションを分布に基づいて学習データ を拡張 (久保ら) 5
  5. QRNN • 畳み込み層と再帰構造を持つプーリング層の 2 層により構 成されるニューラルネット • 畳み込みには未来の時刻情報を含まないように k −

    1 のパ ディングを入れる Masked Convolution を用いる • プーリング層では過去の履歴を考慮しつつ畳み込みで得ら れた局所特徴量の集約を行う → 文脈を考慮した解釈が可能 8
  6. おわりに • QRNN を用いて,高速かつ高精度な対話破綻検出器を構築 • 学習速度が約 3.2 倍の高速化を実現 • 文脈に沿った大局的な学習が可能になり,検出精度が改善

    • 対話破綻検出器の素性の最適化,対話モデルに用いる学習 データに大規模なデータセットを用いることが課題 13