Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Search
Convergence Lab.
January 26, 2019
Research
0
2k
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Convergence Lab.
January 26, 2019
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
61
考える技術・書く技術まとめ
mssmkmr
0
400
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
230
RNNとLSTM
mssmkmr
0
260
Other Decks in Research
See All in Research
ヘルプデスクの事例で学ぶAIエージェント
masatoto
11
4.5k
[輪講資料] Text Embeddings by Weakly-Supervised Contrastive Pre-training
hpprc
3
720
LLM based AI Agents Overview -What, Why, How-
masatoto
1
120
Engineering LaCAM∗: Towards Real-Time, Large-Scale, and Near-Optimal Multi-Agent Pathfinding
kei18
0
460
バスのサービスレベル向上と運賃策による熊本都市圏の渋滞緩和効果推計 ~公共交通への公的投資に向けた感度と集計QVに基づく迅速なシナリオ検討~
trafficbrain
0
180
DroidKaigi CfP分析
yukihiromori
0
110
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
2.5k
自動運転・AIシステムの問題を賢く探す・賢く直す / Smart Search & Repair Techniques for Automated Driving Systems and AI Systems
ishikawafyu
0
140
AIを前提とした体験の実現に向けて/toward_ai_based_experiences
monochromegane
1
430
SSII2024 [PD] 30周年記念特別企画SSII 技術マップ / LLMサーベイ
ssii
PRO
0
630
ソースコード問い合わせのための長コンテキストLLM向けRAG手法の提案
toskamiya
0
140
僕たちがグラフニューラルネットワークを学ぶ理由
joisino
25
11k
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
269
39k
Rails Girls Zürich Keynote
gr2m
93
13k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
360
22k
Documentation Writing (for coders)
carmenintech
63
4.2k
Being A Developer After 40
akosma
72
580k
What’s in a name? Adding method to the madness
productmarketing
PRO
21
2.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
78
15k
Imperfection Machines: The Place of Print at Facebook
scottboms
262
13k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Optimizing for Happiness
mojombo
373
69k
Testing 201, or: Great Expectations
jmmastey
33
6.9k
Principles of Awesome APIs and How to Build Them.
keavy
124
16k
Transcript
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村 優志 Convergence Lab.
自己紹介 木村 優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士(工学) Aidemyとか手伝っています
紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin, “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属: 中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー マイクロソフトリサーチアジア
この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル
どんな発表? 大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する 研究 従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。
どんな問題?
どうやって解決したか? • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習
用語 エンティティ: 質問と回答のこと タグ:過去の質問、過去の回答、現在の質問、のこと
与える生成文法と論理形式
Dialog-to-Action のネットワーク構成 エンコーダー 文法ガイド付きデ コーダー 対話記憶
エンコーダー 普通の双方向GRU tag: Previous Question, Previous Answer, Current Question
文法ガイド付きデコーダー 普通のアテンションGRU
対話記憶
対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製 の2つをつかって、対話記憶とデコーダを連携させる
Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g の エンティティの確率分布
Replication
目的関数 アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 :同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用
実験結果 CSQAデータ・セット
対話記憶の効果
ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可 能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか