Upgrade to Pro — share decks privately, control downloads, hide ads and more …

NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base

NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base

Convergence Lab.

January 26, 2019
Tweet

More Decks by Convergence Lab.

Other Decks in Research

Transcript

  1. NeurIPS2018読み会@PFN
    Dialog-to-Action: Conversational Question
    Answering Over a Large-Scale Knowledge Base
    木村 優志
    Convergence Lab.

    View full-size slide

  2. 自己紹介
    木村 優志
    Convergence Lab. 代表
    https://www.converngece-lab.com
    博士(工学)
    Aidemyとか手伝っています

    View full-size slide

  3. 紹介する論文
    D. Guo, D. Tang, N. Duan, M. Zhou, and J. Yin, 
    “Dialog-to-Action: Conversational Question Answering Over a Large-Scale
    Knowledge Base.”
    著者らの所属:
    中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー
    マイクロソフトリサーチアジア

    View full-size slide

  4. この論文のおもしろいところ
    ● 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現
    ● ディープラーニングとロジックのいいとこ取りする
    ● ネットワークはとてもシンプル

    View full-size slide

  5. どんな発表?
    大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する
    研究
    従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED)
    のモデルに大きな差をつけて改善した。

    View full-size slide

  6. どんな問題?

    View full-size slide

  7. どうやって解決したか?
    ● 対話文から生成文法の論理形式を推測
    ○ 予めあたえるゆるい文法を利用する
    ● 対話でよく起こる「省略現象」に対応するために、対話記憶を利用
    ● アクションのシーケンスをML学習

    View full-size slide

  8. 用語
    エンティティ:  質問と回答のこと
    タグ:過去の質問、過去の回答、現在の質問、のこと

    View full-size slide

  9. 与える生成文法と論理形式

    View full-size slide

  10. Dialog-to-Action のネットワーク構成
    エンコーダー
    文法ガイド付きデ
    コーダー
    対話記憶

    View full-size slide

  11. エンコーダー
    普通の双方向GRU
    tag: Previous Question, Previous Answer, Current Question

    View full-size slide

  12. 文法ガイド付きデコーダー
    普通のアテンションGRU

    View full-size slide

  13. 対話記憶

    View full-size slide

  14. 対話記憶とデコーダの連携
    Instantiation:
    エンティティの生成
    Replication:
    過去の行動の複製
    の2つをつかって、対話記憶とデコーダを連携させる

    View full-size slide

  15. Instantiation
    p(e|a, x): デコーダが出力するエンティティの確率
    pg(g|a, x): あるタグ g の確率
    pe(e|g,a x): あるタグ g の エンティティの確率分布

    View full-size slide

  16. 目的関数
    アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする
    :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0
    :同上。 at を replication したなら 1、それ以外は 0
    推論時はビームサーチを利用

    View full-size slide

  17. 実験結果
    CSQAデータ・セット

    View full-size slide

  18. 対話記憶の効果

    View full-size slide

  19. ディスカッション
    ● 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可
    能性がある
    ● 偽の論理式をフィルタリングする必要がある
    ● 誤った過去の回答のreplicationによってエラーが伝搬する
    ● サポートされていないアクションをどうするか

    View full-size slide