雑談対話システムにおけるdeep learning

長岡技術科学大学
自然言語処理研究室
B3勉強会
鈴木脩右

Transcript

1. 雑談対話システムにおけるdeep learning 鈴木脩右 February 28, 2019 長岡技術科学大学 自然言語処理研究室 1
2. 参考資料 [1] Wei Wu,Rui Yan.Deep Chit-Chat: Deep learning for ChatBots.EMNLP.2018.http: //www.ruiyan.me/pubs/tutorial-emnlp18.pdf ※本スライドの画像，表は上記資料より引用 2
3. 目次 雑談対話システムとは 応答生成 コーパス 評価方法 付加要素 まとめ 3
4. 雑談対話システムとは
5. 雑談対話システムとは • 名前の通り，雑談をする対話システムのこと．(例:りんな) • 非タスク指向かつオープンドメインの対話システム． • アプローチは，主に以下の 2 つ • 検索ベース • 生成ベース 4
6. 応答生成
7. seq2seq • Encoder で，ユーザからの発話を解析 • Decoder で，応答を生成 • 一問一答しかできない (対話の文脈を考慮できない) • Attention の付け方は，Global，Local，Hybrid など様々 5
8. 階層的Encoder-Decoder (HRED) • それまでの対話から，次の 発話を生成可能 • Encoder,Context,Decoder の三層で構成 • Encoder で，ユーザ発話を ベクトルに変換 • Context で，対話の文脈を まとめてベクトルに変換 • Decoder で，応答を生成 6
9. 潜在変数HRED(VHRED) • HRED は応答に多様性がない．つまり，A の発話に対して， 必ず B と応答してしまう • こういった問題を解決するため，Context 層に確率的なノイ ズを乗せる 7
10. コーパス
11. コーパス • Ubuntu Dialogue Corpus Ubuntu forum のチャットルームの会話からデータセットを 作成 • Twitter • Yahoo!知恵袋 ユーザ同士でのやり取りがあるサービスをコーパスにしている 8
12. 評価方法
13. 評価方法 • 非タスク指向型の対話システムを自動で評価することは困難 • 人手での評価はコストが大きい • 評価するためのモデルを構築する研究がある 9
14. ADEM • HRED モデルで，文脈，参照応答，モデル応答を評価 • 人手による評価と近い評価ができる 10
15. ADVMT • 既存手法では単言語に着目 • 多言語に対応した評価手法を作りたい • 各言語を一つのタスクとしてマルチタスクで学習 • 言語に依存しない部分を理解するために敵対的学習 11
16. 付加要素
17. 付加要素 色々な要素を付加する研究もある • 対話のトピックに着目 • 感情表現 • 絵文字から，感情分析 • 対話システム自体に個性を持たせる 12
18. まとめ
19. まとめ • HRED モデルで，文脈を考慮した応答生成が可能 • さらに，潜在変数をノイズとして加えることで応答に多様 性を持たせる • コーパスには，実サービスでのユーザ同士のやりとりを使 うことが多い • 自動で評価するために，モデルを構築する研究がある • ただ雑談をするだけでなく，特色を持たせる研究もある 13