A Deep Reinforcement Learning Chatbot

Transcript

1. Nextremer Co., LTD. Confidential Document Nextremer 2017/08/31 1 A Deep

   Reinforecement Learning Chatbot 2017/ 11/25 nextremerエンジニア 酒井正⼈ 1

2. ⽬次 • 概要 • どんなもの？ • Amazon Alexa Prize •

   MIRABOT • どんな技術を使ってる？ • 22個の対話モデル（Appendixへ） • 最適化アルゴリズム • 検証⽅法 • ABテスト • 所感 • Appendix:22個の対話モデル解説 2017/11/25 Nextremer Co., LTD. Confidential Document 2

3. 概要 Amazonが主宰する対話モデルのコンペティション（Amazon Alexa Prize）で、深層強化学習を⽤いることで20分以上の⼈間との雑談 対話を達成したモデルを紹介します 2017/11/25 Nextremer Co., LTD. Confidential

   Document 3

4. 4 Amazon Alexa Prize

5. Amazon Alexa Prize わかりやすい対話をなるべく⻑く続ける ソーシャルボットのコンペティション • 優勝者には$500, 000 • 優勝したボットが20分以上対話できる場合は

   ボーナス$1,000,000 2017/11/25 Nextremer Co., LTD. Confidential Document 5

6. 論⽂で紹介しているモデル • アンサンブル対話モデル：MIRABOT • 22個の対話モデルを搭載 • テンプレートベース • 検索ベース •

   ⽣成ベース • 深層強化学習により最適な返答を選択 2017/11/25 Nextremer Co., LTD. Confidential Document 6

7. どんなもの？ 2017/11/25 Nextremer Co., LTD. Confidential Document 7

8. どんなもの？ 2017/11/25 Nextremer Co., LTD. Confidential Document 8 22個の対話モデルが⼀ ⻫に応答候補を出⼒し

   ます Automatic Speech Recognition の信頼度 閾値より低い場合はユーザーに聞 き返します 強化学習で応答の候 補を選択します 候補をもとに応 答を最適化しま す 優先度のある候補があれ ばそれを出⼒します

9. 会話の様⼦ 2017/11/25 Nextremer Co., LTD. Confidential Document 9

10. 10 最適化モデル

11. 最適化法① Supervised AMT • クラウドソーシングでアノテーションされたデータ をもとに教師ありニューラルネット学習 • t-1の会話の履歴と応答の候補を⼊⼒ • t時点での各応答に対するスコアを算出する

    vAmazonMechanicalTurk https://aws.amazon.com/jp/mturk/ 2017/11/25 Nextremer Co., LTD. Confidential Document 11

12. 最適化法① Supervised AMT テスト • モデルが選択した応答がどの程度良いか • ⽐較対象 • ランダム

    • Alice bot • Evi bot + Alice bot • 結果 • 分布が多少なだらかに 2017/11/25 Nextremer Co., LTD. Confidential Document 12

13. 最適化法② Supervised Learned Reward Supervised AMTにおいて、ラベルの値をそのま ま使う代わりに という関数で線形近似している • Alexaのリアルユーザーを想定してのこと？

    2017/11/25 Nextremer Co., LTD. Confidential Document 13

14. 強化学習の⽤語 2017/11/25 Nextremer Co., LTD. Confidential Document 14 右図では、マリオが行動する主体（エージェント） 陸地、ブロック（環境）

    停止、(左右に）歩くor走る、ジャンプ（行動） ジャンプ→ブロックからコインがでる（状態） コインが得られる（報酬） マリオの行動を最適化する作戦（方策） ステージクリア後得られるコインや点数（収益） 強化学習の⽬的は収益の最⼤化＝⽅策の最適化

15. 価値反復による最適⽅策の求め⽅ 2017/11/25 Nextremer Co., LTD. Confidential Document 15

16. ⽅策勾配による最適⽅策の求め⽅ 価値反復とは異なるアプローチとして、⽅策を⾏動価値関数とは別 のパラメータで表現する。 ⽅策勾配では確率的⽅策をパラメータベクトルθによってパラメタ ライズされた確率モデル" と考え、これをθについて最適化 することで強化学習問題を解く。 2017/11/25 Nextremer Co.,

    LTD. Confidential Document 16 前述のマリオのパターンは状態や行 動が離散化しやすいケースだった。 しかし、右図のようなゴルフゲーム の場合は、カップまでの距離や風の 強さ（風向き）、スイングの強さが 連続値になってしまう。 離散化が荒いと情報量が減り、細か すぎると計算量が膨大になる。

17. ⽅策勾配による最適⽅策の求め⽅ 期待収益を⽬的関数J として、これを最⼤化する確率的⽅策" を 求める θ ← θ + α▽θ

    J(θ) ①⽅策" による⾏動 ②⽅策" の評価 ③⽅策" の更新 のステップを繰り返し期待収益Jの勾配を求めてθを更新 αは学習率 2017/11/25 Nextremer Co., LTD. Confidential Document 17

18. 最適化法③④ • Off-policy REINFORCE • Off-policy REINFORCE with Learned Reward

    Function 2017/11/25 Nextremer Co., LTD. Confidential Document 18 cは重要度で、今まで学習し た⽅策と同じかどうかをみ る。⼀致していると下がり、 新しいものだとあがる。 次の発話でユーザーがネガ ティブな反応をした場合報 酬は０。それ以外は、今ま での総利益からターン数を 割る。

19. 最適化法⑤ Q-learning with the Abstract Discourse Markov Decision Process •

    マルコフ決定過程（MDP) • 状態遷移が確率的に⽣じるモデル • 状態遷移がマルコフ性を満たす vマルコフ性： 将来の状態が現在の状態のみに依存し、 過去のいかなる状態にも依存しない性質 2017/11/25 Nextremer Co., LTD. Confidential Document 19

20. 最適化法⑤ Abstract Discourse Markov Decision Process 2017/11/25 Nextremer Co., LTD.

    Confidential Document 20

21. 最適化法⑤ Abstract Discourse Markov Decision Process 2017/11/25 Nextremer Co., LTD.

    Confidential Document 21 zはここでは状態 ユーザー発話の種 類、感情、⼀般性、 トピックの独⽴性 など hは履歴、aは⾏動、 rは得られる報酬 y = {very poor, poor, acceptable, good, excellent}

22. 最適化法⑤ 学習⽅法はε-greedy法 学習する段階で最も報酬の⾼い⽅策を選びつつ、 ⼀定の確率でランダムな⽅策を試す 本論⽂では10% → 10回に⼀回ランダム 2017/11/25 Nextremer Co.,

    LTD. Confidential Document 22

23. 参考：最適化法ごとの対話モデル選択率 2017/11/25 Nextremer Co., LTD. Confidential Document 23

24. 24 評価

25. A/Bテスト • ⼀回⽬ • ⼆回⽬ 2017/11/25 Nextremer Co., LTD. Confidential

    Document 25

26. 所感 • 既存の技術を組み合わせるだけで結構強い • 対話モデル・⾃然⾔語処理・強化学習を⼀気におさらいできた • 読むのは⼤変だった • もっと深く掘り下げられると思うし、初⼼者から上級者の⼈でも 何かしら得るものがあると思うので、トライしてみてください

    2017/11/25 Nextremer Co., LTD. Confidential Document 26

27. 27 Appendix: 搭載されている対話モデルの紹介

28. テンプレートベース • Elizabot 2017/11/25 Nextremer Co., LTD. Confidential Document 28

29. テンプレートベース • AliceBOT 2017/11/25 Nextremer Co., LTD. Confidential Document 29

30. テンプレートベース • Initiatorbot • 会話のきっかけをつくるbot • ”What did you do

    today?”や”Do you have a pets?”など • Storybot • ユーザーのリクエストで童話について話す • タイトル • あらすじ • 著者名 • Evibot • ⼊⼒⽂の”Who”とか”What”に反応 • wikipediaから答えを持ってきたりできる • BoWMovies • 映画の会話 2017/11/25 Nextremer Co., LTD. Confidential Document 30

31. 探索ベースニューラルネットワーク • VHRED models • encoder-decoderベースの対話モデル • 意味の解析→単語の⽣成 • 埋め込みベクトルはGloVe

    • 複数のジャンルを学習し、それぞれモデル化 • Reddit • 政治 • ニュース • スポーツ • 映画 • 映画のサブタイトル • ワシントンポスト 2017/11/25 Nextremer Co., LTD. Confidential Document 31

32. 探索ベースニューラルネットワーク • SkipThoughtBooks • SkipThought • 教師なし学習で⽂をベクトル化する san in 引⽤

    http://ksksksks2.hatenadiary.jp/entry/20160424/1461494269 2017/11/25 Nextremer Co., LTD. Confidential Document 32

33. 探索ベースニューラルネットワーク • Bag-of-words Retrieval Models • トランプ⼤統領のツイッターを学習 • BoWEscapePlan •

    他のモデルで回答できなかったときのパターン • ロジスティック回帰を⽤いている？ • LSTMClassifierMSMarco • bi-LSTM • microsoftが公開した質問応答のデータセット 2017/11/25 Nextremer Co., LTD. Confidential Document 33