Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
NeurIPS2018読み会@PFN Dialog-to-Action: Conversat...
Search
Convergence Lab.
January 26, 2019
Research
0
2.1k
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
Convergence Lab.
January 26, 2019
Tweet
Share
More Decks by Convergence Lab.
See All by Convergence Lab.
工学系の関数解析輪読会 - 第1章 線型空間
mssmkmr
0
110
考える技術・書く技術まとめ
mssmkmr
0
600
Global-Locally Self-Attentive Dialogue State Tracker
mssmkmr
1
250
RNNとLSTM
mssmkmr
0
280
Other Decks in Research
See All in Research
「エージェントって何?」から「実際の開発現場で役立つ考え方やベストプラクティス」まで
mickey_kubo
0
120
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
1
910
NLP2025 WS Shared Task 文法誤り訂正部門 ehiMetrick
sugiyamaseiji
0
190
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
600
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
370
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
110
プロシェアリング白書2025_PROSHARING_REPORT_2025
circulation
1
850
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
1k
EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
satai
3
340
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
130
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
300
チャッドローン:LLMによる画像認識を用いた自律型ドローンシステムの開発と実験 / ec75-morisaki
yumulab
1
440
Featured
See All Featured
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Scaling GitHub
holman
459
140k
Fireside Chat
paigeccino
37
3.5k
A better future with KSS
kneath
239
17k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Site-Speed That Sticks
csswizardry
10
660
Building a Scalable Design System with Sketch
lauravandoore
462
33k
Optimizing for Happiness
mojombo
379
70k
Six Lessons from altMBA
skipperchong
28
3.9k
Docker and Python
trallard
44
3.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Transcript
NeurIPS2018読み会@PFN Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base
木村 優志 Convergence Lab.
自己紹介 木村 優志 Convergence Lab. 代表 https://www.converngece-lab.com 博士(工学) Aidemyとか手伝っています
紹介する論文 D. Guo, D. Tang, N. Duan, M. Zhou, and
J. Yin, “Dialog-to-Action: Conversational Question Answering Over a Large-Scale Knowledge Base.” 著者らの所属: 中山大学 ビッグデータアンドコンピューターサイエンス広東省キーラボラトリー マイクロソフトリサーチアジア
この論文のおもしろいところ • 知識ベースを利用した対話履歴を考慮した複数ターンの対話の実現 • ディープラーニングとロジックのいいとこ取りする • ネットワークはとてもシンプル
どんな発表? 大量のナレッジベースを用いた複数ターンのオープンドメイン対話型質問応答に関する 研究 従来法である、メモリーネットワーク+エンコーダーデコーダー(KVMemN2N+HRED) のモデルに大きな差をつけて改善した。
どんな問題?
どうやって解決したか? • 対話文から生成文法の論理形式を推測 ◦ 予めあたえるゆるい文法を利用する • 対話でよく起こる「省略現象」に対応するために、対話記憶を利用 • アクションのシーケンスをML学習
用語 エンティティ: 質問と回答のこと タグ:過去の質問、過去の回答、現在の質問、のこと
与える生成文法と論理形式
Dialog-to-Action のネットワーク構成 エンコーダー 文法ガイド付きデ コーダー 対話記憶
エンコーダー 普通の双方向GRU tag: Previous Question, Previous Answer, Current Question
文法ガイド付きデコーダー 普通のアテンションGRU
対話記憶
対話記憶とデコーダの連携 Instantiation: エンティティの生成 Replication: 過去の行動の複製 の2つをつかって、対話記憶とデコーダを連携させる
Instantiation p(e|a, x): デコーダが出力するエンティティの確率 pg(g|a, x): あるタグ g の確率 pe(e|g,a
x): あるタグ g の エンティティの確率分布
Replication
目的関数 アクション系列、instantiation, replicationの負の近似周辺対数尤度をロスにする :ディラックのデルタ。 at をinstantiation したなら 1、それ以外は 0 :同上。
at を replication したなら 1、それ以外は 0 推論時はビームサーチを利用
実験結果 CSQAデータ・セット
対話記憶の効果
ディスカッション • 今回のモデルはエンティティ間の関連を扱っていない。 ナレッジグラフの利用に可 能性がある • 偽の論理式をフィルタリングする必要がある • 誤った過去の回答のreplicationによってエラーが伝搬する •
サポートされていないアクションをどうするか