Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Hierarchical Recurrent Attention Network for Response Generation
Search
shu_suzuki
March 25, 2019
Technology
0
200
文献紹介:Hierarchical Recurrent Attention Network for Response Generation
長岡技術科学大学
自然言語処理研究室
鈴木脩右
shu_suzuki
March 25, 2019
Tweet
Share
More Decks by shu_suzuki
See All by shu_suzuki
文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References
shu_suzuki
0
110
文献紹介:Do Neural Dialog Systems Use the Conversation History Effectively? An Empirical Study
shu_suzuki
0
56
文献紹介: How to Make Context More Useful? An Empirical Study on Context-Aware Neural Conversational Models
shu_suzuki
0
210
文献紹介:Conversational Response Re-ranking Based on Event Causality and Role Factored Tensor Event Embedding
shu_suzuki
0
120
文献紹介:Modeling Semantic Relationship in Multi-turn Conversations with Hierarchical Latent Variables
shu_suzuki
0
45
文献紹介:ReCoSa: Detecting the Relevant Contexts with Self-Attention for Multi-turn Dialogue Generation
shu_suzuki
0
160
文献紹介:Better Automatic Evaluation of Open-Domain Dialogue Systems with Contextualized Embeddings
shu_suzuki
0
91
文献紹介:Why are Sequence-to-Sequence Models So Dull?
shu_suzuki
0
52
文献紹介:Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network
shu_suzuki
0
180
Other Decks in Technology
See All in Technology
開発生産性向上サービスを作るFindyが自分たちで開発生産性を爆上げした組織づくりの歩み / Findy's path to boosting its own development productivity 2024-04-17
ma3tk
3
610
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
110
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
160
Oracle Cloud Infrastructure:2024年4月度サービス・アップデート
oracle4engineer
PRO
1
190
DevOpsメトリクスとアウトカムの接続にトライ!開発プロセスを通して計測できるメトリクスの活用方法
ham0215
2
230
FrontDoorとWebAppsを組み合わせた際のリダイレクト処理の注意点
kenichirokimura
1
500
エンジニアのキャリアをちょっと楽しくする3本の軸/Three Pillars to Make an Engineer's Career More Enjoyable
kwappa
0
2.6k
元インフラエンジニアに成る / Human Resources to Human Relations
bobtani
4
900
本当のAWS基礎
toru_kubota
0
500
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.9k
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
530
MapLibreとAmazon Location Service
dayjournal
1
150
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Code Review Best Practice
trishagee
55
15k
Building an army of robots
kneath
300
41k
YesSQL, Process and Tooling at Scale
rocio
164
13k
Practical Orchestrator
shlominoach
182
9.7k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
116
18k
In The Pink: A Labor of Love
frogandcode
138
21k
Navigating Team Friction
lara
178
13k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Atom: Resistance is Futile
akmur
259
25k
Thoughts on Productivity
jonyablonski
58
3.8k
Transcript
文献紹介 Hierarchical Recurrent Attention Network for Response Generation 鈴木脩右 2019/3/25
長岡技術科学大学 自然言語処理研究室 1
Reference [1] Chen Xing, Yu Wu, Wei Wu, Yalou Huang,
and Ming Zhou. Hierarchical Recurrent Attention Network for Response Generation. In Thirty-Second AAAI Conference on Artificial Intelligence, April 2018. 2
Abstract • 雑談対話システムによるマルチターンでの応答生成に関す る研究 • 既存の階層モデルでは,重要な情報を失う可能性がある • 本研究では Hierarchical Recurrent
Attention Network (HRAN) を提案 • 自動評価と人的評価で既存手法よりも優れていることを示 した 3
Introduction • 雑談対話システムにおいて, Encoder-Decoder モデルが一般的 • 会話の文脈を考慮しないため, マルチターンでの応答には不向き • HRED
と VHRED(Serban ら.2016) 階層構造により,文脈を考慮 • 文脈中の重要部分を考慮してい ない • 階層的に Attention を導入し, 重要部分を注視 Figure 1: An example of multi-turn conversation[1] 4
提案モデル Figure 2: Hierarchical Recurrent Attention Network[1] 5
データセット • SNS から1対1の約 166 万対話を抽出 • トレーニングデータ:100 万 •
バリデーションデータ:1 万 • テストデータ:1000 6
ベースライン • S2SA:seq2seq+Attention • HRED:Hierarchical Recurrent Encoder Decoder • VHRED:HRED
に VAE を組み合わせたもの 7
自動評価 perplexity Table 1: Perplexity results[1] 8
人的評価 • HRAN とベースライン (いず れか 1 つ) のどちらが良いか 比較
• 3 人のアノテーターが評価 • アノテーター間の一致度 は,Fleiss’ kappa で算出 Table 2: Human annotation results[1] 9
Attentionの可視化 Figure 3: Attention visualization.[1] 10
Conculusion • マルチターン応答生成のための HRAN を提案 • 自動評価と人的評価で HRAN が既存モデルを大幅に上回る ことを確認
11