Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出
Search
shu_suzuki
March 21, 2019
Technology
0
90
文献紹介:Quasi-Recurrent Neural Networks に基づく対話モデルを用いた対話破綻検出
長岡技術科学
自然言語処理研究室
鈴木脩右
shu_suzuki
March 21, 2019
Tweet
Share
More Decks by shu_suzuki
See All by shu_suzuki
文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
shu_suzuki
0
100
文献紹介:Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
shu_suzuki
0
56
文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
shu_suzuki
0
200
文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
shu_suzuki
0
120
文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
shu_suzuki
0
40
文献紹介:ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
shu_suzuki
0
160
文献紹介:Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
shu_suzuki
0
90
文献紹介:Why are Sequence-to-Sequence Models So Dull?
shu_suzuki
0
50
文献紹介:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
shu_suzuki
0
180
Other Decks in Technology
See All in Technology
社内共通ルールを値オブジェクトにして社内ライブラリとして運用してみた話
leveragestech
2
1.2k
Getting started with controlling LEGO using Swift
hcrane
0
130
単回帰分析について数式を追いながら実装してみた
kentaitakura
0
500
Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善
10xinc
6
1.6k
XRミーティング 2024-03-20
1ftseabass
PRO
0
100
大規模データとの戦い方
knih
1
470
業務で使えるかもしれない…!?GitHub Actions の Tips 集 / CI/CD Test Night #7
ponkio_o
PRO
24
7.1k
#51 “Empowering Azure Storage with RDMA”
cafenero_777
3
210
Cloud Friendly(?) Jenkins. How we failed to make Jenkins cloud native and what we learned?
onenashev
PRO
0
110
暗黙知を集積するプラットフォーム : 「健常者エミュレータ事例集」の取り組み
sora32127
1
160
Evolutionary Optimization of Model Merging Recipes
fuyu_quant0
3
540
「XX試験の環境作ってよ」と言われた時によく使うAWSのソリューションについて
bun913
0
120
Featured
See All Featured
Build The Right Thing And Hit Your Dates
maggiecrowley
23
1.9k
Making Projects Easy
brettharned
106
5.4k
Producing Creativity
orderedlist
PRO
335
39k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
Ruby is Unlike a Banana
tanoku
95
10k
Happy Clients
brianwarren
91
6.3k
How to train your dragon (web standard)
notwaldorf
71
5.1k
Automating Front-end Workflow
addyosmani
1353
200k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
319
20k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
101
6.6k
KATA
mclloyd
14
11k
Infographics Made Easy
chrislema
237
18k
Transcript
文献紹介 Quasi-Recurrent Neural Networks に基づく対話モデ ルを用いた対話破綻検出 鈴木脩右 2019/3/21 長岡技術科学大学 自然言語処理研究室
1
Reference [1] 田中 涼太 and 李 晃伸. Quasi-Recurrent Neural Networks
に基づく対話モデルを用 いた対話破綻検出. In 人工知能学会全国大会論文集第 32 回全国大会 (2018), pages 4G101–4G101. 一般社団法人人工知能学会, 2018. 2
はじめに • 雑談対話システムにおいて,対話破綻が発生することが問 題となっている • 対話破綻の検出手法として,Neural Conversational Model (NCM) を用いるものがある
→ RNN を用いるため学習に時間がかかる • 本研究では Quansi-RNN(QRNN) を NCM に用いることで学 習の高速化,性能向上を図った 3
対話モデルを用いた対話破綻検出 • 対話破綻検出のメリット • システムが発話前後で対話破綻を認識可能となる • 対話破綻の事前回避,リカバリが期待できる • 対話破綻検出の課題 •
対話中に破綻検出を行う必要がある • 対話モデルと破綻検出を統合した枠組みで考える • NCM(seq2seq モデル) • Encoder で発話の単語列を読み込む • Decoder で応答文を出力 4
先行研究 • NCM を拡張し,Encoder と Decoder の最終時刻の隠れ層を 素性に分類器を作成 (小林ら) •
対話データのアノテーションを分布に基づいて学習データ を拡張 (久保ら) 5
提案モデル概要 1. O, △,X のアノテーション分布に基づいて応答文の末尾に対 話破綻ラベルを付与 2. 上記データを元に対話モデルを QRNN で学習
3. 発話文,応答文埋め込みベクトル vi ,vo を獲得 4. vi ,vo を素性に SVM で識別 6
提案モデル図 Figure 1: 提案モデル [1] 7
QRNN • 畳み込み層と再帰構造を持つプーリング層の 2 層により構 成されるニューラルネット • 畳み込みには未来の時刻情報を含まないように k −
1 のパ ディングを入れる Masked Convolution を用いる • プーリング層では過去の履歴を考慮しつつ畳み込みで得ら れた局所特徴量の集約を行う → 文脈を考慮した解釈が可能 8
発話文と応答文の特徴量抽出 • 対話モデルの Encoder と Decoder の最終時刻における隠れ 層を特徴量として抽出 • 最終時刻における隠れ層は発話の大局情報
(単語やフレーズ などの局所情報を時間軸に沿いまとめたもの) • 大局的に対話破綻を検出できる 9
データセット(1) • 対話破綻検出チャレンジ 1,2 を使用 • 対話データには以下のラベルでアノテートされている • O 破綻ではない:問題なく対話が継続できる
• △ 違和感がある:スムーズな対話継続が困難 • X 破綻している:対話の継続が困難 10
データセット(2) Table 1: 配布データセット [1] 11
実験結果 Figure 2: 学習速度 [1] Table 2: 破綻検出の結果 [1] 12
おわりに • QRNN を用いて,高速かつ高精度な対話破綻検出器を構築 • 学習速度が約 3.2 倍の高速化を実現 • 文脈に沿った大局的な学習が可能になり,検出精度が改善
• 対話破綻検出器の素性の最適化,対話モデルに用いる学習 データに大規模なデータセットを用いることが課題 13