Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeurIPS2018読み会@PFN Dialog-to-Action: Conversat...
Search
Convergence Lab.
January 26, 2019
Research
0
2.1k
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Convergence Lab.
January 26, 2019
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
120
考える技術・書く技術まとめ
mssmkmr
0
660
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
250
RNNとLSTM
mssmkmr
0
280
Other Decks in Research
See All in Research
20250725-bet-ai-day
cipepser
2
420
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
770
単施設でできる臨床研究の考え方
shuntaros
0
2.7k
Creation and environmental applications of 15-year daily inundation and vegetation maps for Siberia by integrating satellite and meteorological datasets
satai
3
280
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
4
240
能動適応的実験計画
masakat0
2
810
Combinatorial Search with Generators
kei18
0
780
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
260
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
170
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
300
電力システム最適化入門
mickey_kubo
1
920
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
160
Featured
See All Featured
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Scaling GitHub
holman
463
140k
Building an army of robots
kneath
306
46k
Building Adaptive Systems
keathley
43
2.7k
Automating Front-end Workflow
addyosmani
1370
200k
Unsuck your backbone
ammeep
671
58k
Producing Creativity
orderedlist
PRO
347
40k
How GitHub (no longer) Works
holman
315
140k
Side Projects
sachag
455
43k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Designing for Performance
lara
610
69k
Transcript
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村 優志 Convergence Lab.
自己紹介 木村 優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士(工学) Aidemyとか手伝っています
紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin, “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属: 中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー マイクロソフトリサーチアジア
この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル
どんな発表? 大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する 研究 従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。
どんな問題?
どうやって解決したか? • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習
用語 エンティティ: 質問と回答のこと タグ:過去の質問、過去の回答、現在の質問、のこと
与える生成文法と論理形式
Dialog-to-Action のネットワーク構成 エンコーダー 文法ガイド付きデ コーダー 対話記憶
エンコーダー 普通の双方向GRU tag: Previous Question, Previous Answer, Current Question
文法ガイド付きデコーダー 普通のアテンションGRU
対話記憶
対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製 の2つをつかって、対話記憶とデコーダを連携させる
Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g の エンティティの確率分布
Replication
目的関数 アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 :同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用
実験結果 CSQAデータ・セット
対話記憶の効果
ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可 能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか