Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
NeurIPS2018読み会@PFN Dialog-to-Action: Conversat...
Search
Convergence Lab.
January 26, 2019
Research
2.1k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Convergence Lab.
January 26, 2019
Transcript
20 slides
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村 優志 Convergence Lab.
自己紹介 木村 優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士(工学) Aidemyとか手伝っています
紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin, “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属: 中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー マイクロソフトリサーチアジア
この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル
どんな発表? 大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する 研究 従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。
どんな問題?
どうやって解決したか? • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習
用語 エンティティ: 質問と回答のこと タグ:過去の質問、過去の回答、現在の質問、のこと
与える生成文法と論理形式
Dialog-to-Action のネットワーク構成 エンコーダー 文法ガイド付きデ コーダー 対話記憶
エンコーダー 普通の双方向GRU tag: Previous Question, Previous Answer, Current Question
文法ガイド付きデコーダー 普通のアテンションGRU
対話記憶
対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製 の2つをつかって、対話記憶とデコーダを連携させる
Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g の エンティティの確率分布
Replication
目的関数 アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 :同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用
実験結果 CSQAデータ・セット
対話記憶の効果
ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可 能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか
More Decks by Convergence Lab.
See All by Convergence Lab.
研究開発の業務効率化 アイデアの試行錯誤が 爆速になった話
mssmkmr
0
47
ペットのかわいい瞬間を撮影する オートシャッターAIアプリへの スマートラベリングの適用
mssmkmr
0
650
RAGで制御可能なFull-duplex音声対話システム
mssmkmr
0
210
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
170
考える技術・書く技術まとめ
mssmkmr
0
1.1k
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
290
RNNとLSTM
mssmkmr
0
310
Other Decks in Research
See All in Research
Volatilité des marchés et sécheresse historique, l’élevage bovin viande sous contraintes en 2026
institutdelelevage
PRO
0
250
幾何学的深層学習入門 ~3次元構造と対称性を学習するニューラルネットワーク~
taniai
3
1.1k
Santé et fertilité des sols : ce que nous disent les pratiques dans les systèmes de polyculture-élevage
institutdelelevage
PRO
0
160
Top 4セキュリティ会議に一通り論文が採択されるまでの道のりと展望 / Top 4 Security Grand Slam
takaomurakami
0
1.1k
Paris et Berlin face à un monde sans repères. Entre convergences et divergences en matière de politique étrangère
ifri
0
260
Physical AIでモデリングはどう変わるか/How Physical AI Will Change Modeling
stktu
0
360
Des solutions pour pâturer davantage en hiver
institutdelelevage
PRO
0
140
Santé et fertilité des sols : ce que nous disent les pratiques dans les systèmes de polyculture-élevage
institutdelelevage
PRO
0
260
ICAITD 2026 Oral Presentation
rikkabotan7
0
150
最先端NLP勉強会2026 論文紹介:Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026 paper)
kogoro
4
980
Méthane 2030 : Développer des solutions de réduction des émissions de méthane entérique : 1ers résultats
institutdelelevage
PRO
0
130
Kunai: Toward a Verifier-Safe Layered DSL for Nested Encapsulation Packet Filtering on eBPF
takehaya
1
210
Featured
See All Featured
Are puppies a ranking factor?
jonoalderson
2
4.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.9k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
320
The Illustrated Guide to Node.js - THAT Conference 2024
reverentgeek
1
620
Max Prin - Stacking Signals: How International SEO Comes Together (And Falls Apart)
techseoconnect
PRO
0
540
Lightning talk: Run Django tests with GitHub Actions
sabderemane
0
330
Paper Plane
katiecoart
PRO
6
55k
DevOps and Value Stream Thinking: Enabling flow, efficiency and business value
helenjbeal
2
450
Become a Pro
speakerdeck
PRO
31
6.4k
It's Worth the Effort
3n
188
29k
Crafting Experiences
bethany
1
450
Facilitating Awesome Meetings
lara
57
7.2k