Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
雑談対話システムにおけるdeep learning
Search
shu_suzuki
February 28, 2019
Technology
0
300
雑談対話システムにおけるdeep learning
長岡技術科学大学
自然言語処理研究室
B3勉強会
鈴木脩右
shu_suzuki
February 28, 2019
Tweet
Share
More Decks by shu_suzuki
See All by shu_suzuki
文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
shu_suzuki
0
110
文献紹介:Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
shu_suzuki
0
57
文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
shu_suzuki
0
210
文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
shu_suzuki
0
120
文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
shu_suzuki
0
45
文献紹介:ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
shu_suzuki
0
160
文献紹介:Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
shu_suzuki
0
93
文献紹介:Why are Sequence-to-Sequence Models So Dull?
shu_suzuki
0
52
文献紹介:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
shu_suzuki
0
180
Other Decks in Technology
See All in Technology
20分で完全に理解するGrafanaダッシュボード
hamadakoji
5
910
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
340
今年のRubyKaigiはProfiler Year🤘
osyoyu
0
420
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
740
Microsoft for Startups Founders Hub_20240429 update
daikikanemitsu
1
2.4k
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
150
データベース03: 関係データモデル
trycycle
0
100
止まらないLinuxシステムを構築する_高信頼性クラスタ入門
koedoyoshida
2
470
Amplify 🩷 Bedrock 〜生成AI入門〜
minorun365
PRO
8
900
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
devops_vtj
18
4.7k
MapLibreとAmazon Location Service
dayjournal
1
190
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
150
Featured
See All Featured
Ruby is Unlike a Banana
tanoku
96
10k
Thoughts on Productivity
jonyablonski
60
3.9k
Optimizing for Happiness
mojombo
370
69k
Product Roadmaps are Hard
iamctodd
45
9.7k
Embracing the Ebb and Flow
colly
80
4.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
245
20k
What's in a price? How to price your products and services
michaelherold
238
11k
How GitHub (no longer) Works
holman
305
140k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Rails Girls Zürich Keynote
gr2m
91
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
188
16k
Adopting Sorbet at Scale
ufuk
69
8.6k
Transcript
雑談対話システムにおけるdeep learning 鈴木脩右 February 28, 2019 長岡技術科学大学 自然言語処理研究室 1
参考資料 [1] Wei Wu,Rui Yan.Deep Chit-Chat: Deep learning for ChatBots.EMNLP.2018.http:
//www.ruiyan.me/pubs/tutorial-emnlp18.pdf ※本スライドの画像,表は上記資料より引用 2
目次 雑談対話システムとは 応答生成 コーパス 評価方法 付加要素 まとめ 3
雑談対話システムとは
雑談対話システムとは • 名前の通り,雑談をする対話システムのこと.(例:りんな) • 非タスク指向かつオープンドメインの対話システム. • アプローチは,主に以下の 2 つ •
検索ベース • 生成ベース 4
応答生成
seq2seq • Encoder で,ユーザからの発話を解析 • Decoder で,応答を生成 • 一問一答しかできない (対話の文脈を考慮できない)
• Attention の付け方は,Global,Local,Hybrid など様々 5
階層的Encoder-Decoder (HRED) • それまでの対話から,次の 発話を生成可能 • Encoder,Context,Decoder の三層で構成 • Encoder
で,ユーザ発話を ベクトルに変換 • Context で,対話の文脈を まとめてベクトルに変換 • Decoder で,応答を生成 6
潜在変数HRED(VHRED) • HRED は応答に多様性がない.つまり,A の発話に対して, 必ず B と応答してしまう • こういった問題を解決するため,Context
層に確率的なノイ ズを乗せる 7
コーパス
コーパス • Ubuntu Dialogue Corpus Ubuntu forum のチャットルームの会話からデータセットを 作成 •
Twitter • Yahoo!知恵袋 ユーザ同士でのやり取りがあるサービスをコーパスにしている 8
評価方法
評価方法 • 非タスク指向型の対話システムを自動で評価することは困難 • 人手での評価はコストが大きい • 評価するためのモデルを構築する研究がある 9
ADEM • HRED モデルで,文脈,参照応答,モデル応答を評価 • 人手による評価と近い評価ができる 10
ADVMT • 既存手法では単言語に着目 • 多言語に対応した評価手法を作りたい • 各言語を一つのタスクとしてマルチタスクで学習 • 言語に依存しない部分を理解するために敵対的学習 11
付加要素
付加要素 色々な要素を付加する研究もある • 対話のトピックに着目 • 感情表現 • 絵文字から,感情分析 • 対話システム自体に個性を持たせる
12
まとめ
まとめ • HRED モデルで,文脈を考慮した応答生成が可能 • さらに,潜在変数をノイズとして加えることで応答に多様 性を持たせる • コーパスには,実サービスでのユーザ同士のやりとりを使 うことが多い
• 自動で評価するために,モデルを構築する研究がある • ただ雑談をするだけでなく,特色を持たせる研究もある 13