Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeurIPS2018読み会@PFN Dialog-to-Action: Conversat...
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Convergence Lab.
January 26, 2019
Research
2.1k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Convergence Lab.
January 26, 2019
More Decks by Convergence Lab.
See All by Convergence Lab.
ペットのかわいい瞬間を撮影する オートシャッターAIアプリへの スマートラベリングの適用
mssmkmr
0
540
RAGで制御可能なFull-duplex音声対話システム
mssmkmr
0
140
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
150
考える技術・書く技術まとめ
mssmkmr
0
920
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
280
RNNとLSTM
mssmkmr
0
300
Other Decks in Research
See All in Research
SAKURAONE:An Open Ethernet-based AI HPC System And Its Observed Workload Dynamicsin a Single-Tenant LLM Development Environment
yuukit
1
450
さくらインターネット研究所テックトーク2026春、研究開発Gr.25年度成果26年度方針
kikuzo
0
160
[IR Reading 2026春 論文紹介] LLM-based Listwise Reranking under the Effect of Positional Bias (ECIR 2026) /IR-Reading-2026-Spring
koheishinden
PRO
0
230
National high-resolution cropland classification of Japan with agricultural census information and multi-temporal multi-modality datasets
satai
3
370
Cross-Media Human-Information Interaction
signer
PRO
0
120
研究室単位での自律的 IPv6接続性確立に向けたAS共同運用モデルの提案と実証
reokashiwa
PRO
0
150
2026年度 生成AI を活用した論文執筆ガイド/ワークショップ / 2026 Academic Year Guide to Writing Papers Using Generative AI - Workshop
ks91
PRO
0
190
Scalable dynamic origin-destination demand estimation enhanced by high-resolution satellite imagery data
satai
3
340
東京大学工学部計数工学科、計数工学特別講義の説明資料
kikuzo
0
560
長時間動画QAにおけるマルチエージェント推論 ・SVAgent: Storyline-Guided Long Video Understanding via Cross-Modal Multi-Agent Collaboration
murakawatakuya
1
160
Visual SLAM未来予測 / Future Prediction in Visual SLAM
koide3
1
640
The Landscape of Agentic Reinforcement Learning for LLMs: A Survey
shunk031
4
1.1k
Featured
See All Featured
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
1
240
Un-Boring Meetings
codingconduct
0
350
How to make the Groovebox
asonas
2
2.3k
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
510
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
230
23k
Leveraging Curiosity to Care for An Aging Population
cassininazir
1
390
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
180
VelocityConf: Rendering Performance Case Studies
addyosmani
333
25k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.3k
A Soul's Torment
seathinner
6
3.1k
Producing Creativity
orderedlist
PRO
348
40k
How to Ace a Technical Interview
jacobian
281
24k
Transcript
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村 優志 Convergence Lab.
自己紹介 木村 優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士(工学) Aidemyとか手伝っています
紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin, “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属: 中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー マイクロソフトリサーチアジア
この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル
どんな発表? 大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する 研究 従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。
どんな問題?
どうやって解決したか? • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習
用語 エンティティ: 質問と回答のこと タグ:過去の質問、過去の回答、現在の質問、のこと
与える生成文法と論理形式
Dialog-to-Action のネットワーク構成 エンコーダー 文法ガイド付きデ コーダー 対話記憶
エンコーダー 普通の双方向GRU tag: Previous Question, Previous Answer, Current Question
文法ガイド付きデコーダー 普通のアテンションGRU
対話記憶
対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製 の2つをつかって、対話記憶とデコーダを連携させる
Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g の エンティティの確率分布
Replication
目的関数 アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 :同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用
実験結果 CSQAデータ・セット
対話記憶の効果
ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可 能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか