Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Dialogue-act-driven Conversation Model: An Experimental Study
Search
shu_suzuki
February 25, 2019
Technology
0
72
Dialogue-act-driven Conversation Model: An Experimental Study
長岡技術科学
自然言語処理研究室
鈴木脩右
文献紹介
shu_suzuki
February 25, 2019
Tweet
Share
More Decks by shu_suzuki
See All by shu_suzuki
文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
shu_suzuki
0
110
文献紹介:Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
shu_suzuki
0
57
文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
shu_suzuki
0
210
文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
shu_suzuki
0
120
文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
shu_suzuki
0
45
文献紹介:ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
shu_suzuki
0
160
文献紹介:Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
shu_suzuki
0
93
文献紹介:Why are Sequence-to-Sequence Models So Dull?
shu_suzuki
0
52
文献紹介:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
shu_suzuki
0
180
Other Decks in Technology
See All in Technology
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
910
社内アプリで Cloudflare D1を プロダクト運用してみた体験談(Tokyo)
haochenx
0
120
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
340
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
19
5.1k
個人のAWSアカウントをマルチ運用してみた
miura55
2
150
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
8
630
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
280
How to do well in consulting–Balkan Ruby 2024
irinanazarova
0
150
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
740
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
1
370
いいたいことちゃんという
tkengo
0
240
Next.js に疲れた私は Vue3 に癒やされた
akagire
0
140
Featured
See All Featured
4 Signs Your Business is Dying
shpigford
176
21k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
Automating Front-end Workflow
addyosmani
1357
200k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
The Pragmatic Product Professional
lauravandoore
26
5.8k
Navigating Team Friction
lara
179
13k
Designing Experiences People Love
moore
136
23k
The Mythical Team-Month
searls
217
42k
Into the Great Unknown - MozCon
thekraken
15
1k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
21
1.9k
RailsConf 2023
tenderlove
9
560
Transcript
文献紹介 Dialogue-act-driven Conversation Model: An Experimental Study 鈴木脩右 2019/2/25 長岡技術科学大学
自然言語処理研究室 1
Reference [1] Harshit Kumar, Arvind Agarwal, and Sachindra Joshi. Dialogue-act-driven
Conversation Model : An Experimental Study. In Proceedings of the 27th International Conference on Computational Linguistics, pages 1246–1256, Santa Fe, New Mexico, USA, August 2018. Association for Computational Linguistics. 2
Abstract • 発話選択において,対話行為情報を追加することの有用性 に関する研究 • seq2seq encoder-decoder モデル,階層的 encoder-decoder モデルなどモデルに関係なく性能が向上
• 階層的 encoder を利用した新しいモデルを構築 • DailyDialog dataset において,MRR で約 84.4%を達成し, baseline より優れた性能を持つ 3
Introduction i • 応答予測は2つの方法で定式化可能 • 純粋な発話の生成 • 発話候補からの選択 (本論文ではこちらを使用) •
発話選択タスクのモデルは 2 種類 • 生成モデル (seq2seq モデル) - 与えられた文脈で応答を生成 • 識別モデル (Siamese モデル) - 文脈から適切,不適切な応答を識別 • 対話行為とは,話し手の意図を表わす抽象的概念のこと 4
Introduction ii • 本研究での貢献は以下の 4 つ • 発話選択タスクにおいて,対話行為情報がモデルに関係なく有効 であることの検証 •
Siamese network,対話固有の階層構造,それぞれの長所を組み 合わせた新モデルを提案 • 対話行為情報の有用性について,以下の観点から考察 • モデルは有効な対話行為を学習するか • 対話行為は統一性をもたらすか • 対話行為はモデルが正しいパターンの学習を補助するか • DailyDialog dataset を,発話選択タスクに合わせて修正 5
生成モデル • ED(Encoder-Decoder) モデル encoder で発話を取得し,decoder で次の発話を生成 • HRED(階層的 Encoder-Decoder)
モデル 発話間の依存関係を取得するために,ED モデルを拡張した もの • ED-DA モデル 対話行為情報を使用する ED モデルの拡張 • HRED-DA モデル 対話行為情報を使用する HRED モデルの拡張 6
識別モデル • Siamese モデル 文脈 encoder と発話 encoder の出力間の距離を誤差として 学習する識別モデル
• HSiamese モデル (階層的 Siamese モデル) Siamese モデルの 2 つの encoder を階層構造にしたもの • Simese-DA モデル DA-encoder から対話行為情報を取得した Siamese モデル の拡張 • HSiamese-DA モデル 提案手法.詳細は後述 7
提案手法 • 3 つの encoder を持つ • 階層 encoder -
発話間の依存関係を捉える • 発話 encoder - 候補応答表現,発話表現を取得する • DA-encoder - 発話と対話行為間の依存関係を捉える • 階層 encoder と DA-encoder の出力を線形結合し,文脈の 構成表現を取得 • 文脈の構成表現と発話 encoder の出力から,候補応答を出 力に関連付ける • 正と負の例を含むすべてのラベル付き会話のクロスエント ロピーを最小化することで、モデルをトレーニング • 候補応答から正例をより高いランクに割り当てられるかを 8
DailyDialog dataset ⅰ • 対話行為で注釈を付けられた唯一のデータセット • 対話行為は 4 つに分類される •
Inform - 何かしらの情報提供 • Question - 質問 • Directives - 要求,指導,提案など • Commissive - 受け入れ,拒否の要求 • 本論文では,2 通りの変更を加えて使用 • 生成モデル - 文脈を構成する 3 つの発話と応答の発話,計 4 発話ず つでトレーニング.データ総数は,train:30515,test:2849,valid:2695 • 識別モデル - 応答発話をランダムな発話に置換し,負例を学習. データ総数は,train:61030,test:2849,valid:2695 9
DailyDialog dataset ⅱ Table 1: A snippet of a conversation
showing few dialogues between a Human (H) and Bot (B).[1] 10
Results i Table 2: Comparison of different models with and
without dialogue acts.[1] 11
Results ii Table 3: Number of rank-1 conversations and theie
DAs for Kth and (K + 1)th utterances.[1] 12
Results ⅲ • テストデータとモデル出力の両方で,特定のパターンが優 位になっている • Directives は Question と混同しやすく曖昧さを持つ
• 精度が向上していることから,対話行為情報により統一性 をもたらしたと考えられる • これにより,対話行為情報は,学習を補助していると考え られる 13
Conclusion • モデルに関係なく,対話行為の情報がパフォーマンスの 改善に有効であることを示した • 対話行為情報の階層構造を活用した新しいモデルを提案し, MRR が 84.8%に改善した •
対話行為情報を含めることで,統一性がもたらされ, 曖昧さが排除されることを確認した 14