NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base

NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村　優志 Convergence Lab.

自己紹介木村　優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士（工学） Aidemyとか手伝っています

紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin,　 “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属：中山大学ビッグデータアンドコンピューターサイエンス広東省キーラボラトリーマイクロソフトリサーチアジア

この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル

どんな発表？大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する研究従来法である、メモリーネットワーク＋エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。

どんな問題？

どうやって解決したか？ • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習

用語エンティティ：　質問と回答のことタグ：過去の質問、過去の回答、現在の質問、のこと

与える生成文法と論理形式

Dialog-to-Action のネットワーク構成エンコーダー文法ガイド付きデコーダー対話記憶

エンコーダー普通の双方向GRU tag: Previous Question, Previous Answer, Current Question

文法ガイド付きデコーダー普通のアテンションGRU

対話記憶

対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製の２つをつかって、対話記憶とデコーダを連携させる

Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g のエンティティの確率分布

Replication

目的関数アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする：ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 ：同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用

実験結果 CSQAデータ・セット

対話記憶の効果

ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。ナレッジグラフの利用に可能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか

NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base

NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base

Convergence Lab.

More Decks by Convergence Lab.

Other Decks in Research

Featured

Transcript