Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介[Zero-Shot Dialog Generation with Cross-Dom...
Search
Ayumu
February 18, 2019
Technology
0
200
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Ayumu
February 18, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
170
B3ゼミ 自然言語処理におけるCNN
ayumum
0
110
言語処理年次大会報告
ayumum
0
110
ニューラルネット4
ayumum
0
120
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
180
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
180
ニューラルネット実践
ayumum
0
130
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
ソースを読むプロセスの例
sat
PRO
15
9.7k
難しいセキュリティ用語をわかりやすくしてみた
yuta3110
0
360
Claude Code Subagents 再入門 ~cc-sddの実装で学んだこと~
gotalab555
10
17k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.8k
フレームワークを意識させないワークショップづくり
keigosuda
0
240
Node.js 2025: What's new and what's next
ruyadorno
0
950
Sansan Engineering Unit 紹介資料
sansan33
PRO
1
3k
Okta Identity Governanceで実現する最小権限の原則 / Implementing the Principle of Least Privilege with Okta Identity Governance
tatsumin39
0
160
Microsoft 365 の認証と承認を理解する / Understanding Microsoft 365 Authentication and Authorization
karamem0
0
110
だいたい分かった気になる 『SREの知識地図』 / introduction-to-sre-knowledge-map-book
katsuhisa91
PRO
3
1.2k
Biz職でもDifyでできる! 「触らないAIワークフロー」を実現する方法
igarashikana
3
1.3k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.5k
The Cost Of JavaScript in 2023
addyosmani
55
9.1k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Gamification - CAS2011
davidbonilla
81
5.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
Raft: Consensus for Rubyists
vanstee
140
7.2k
The Pragmatic Product Professional
lauravandoore
36
7k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Optimizing for Happiness
mojombo
379
70k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
How to Think Like a Performance Engineer
csswizardry
27
2.1k
Transcript
Zero-Shot Dialog Generation with Cross-Domain Latent Action 2019/02/18 長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Literature ⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions ⚫Tiancheng Zhao
and Maxine Eskenazi ⚫Proceedings of the SIGDIAL 2018 Conference, pages 1– 10,Melbourne, Australia, 12-14 July 2018.c©2018 Association for Computational Linguistics
Abstract ⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフ レームワークとしてダイアログ応答生成であるGEDM(Generatuce End- to-end Dialog Model)といったモデルがある。
Abstract ⚫GEDMの問題点として、大量の学習データを必要とする点がある ⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメイン の学習を行う(マルチタスク) ⚫データありの関連しているドメインから、データなしの新規のドメイ ンに情報を付与する(Zero-Shot)
Zero shot Dialog Generation(ZSDG)の設定 ⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。 ⚫このZSDGモデルはc,dが与えられ、xを出力するように学習する。 ⚫このモデルのゴールとして未知のターゲットドメインをソースドメイ ンに関連付けし,c*d→xを学習する。
Seed Response (SR) ⚫SR(d)をタプルとして定義する。 ⚫各タプルはドメインに対して注釈がついている:{x,a,d} ⚫この時xは対話の例、aは注釈、dはドメインである
AM(Aciton Matching)アルゴリズム
ロス最適化 ⚫ZからXへのロス関数Ldd(ドメインを入力としたもの) ⚫対話のロス関数Ldialog
実験モデル詳細 ⚫認識用ネットワークR:双方向GRU ⚫エンコーダFe:階層型リカレントLSTMエンコーダ(HRE)[Li et al 2015] ⚫デコーダFd: ⚫LSTM 注釈デコーダ ⚫LSTM
PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]
LSTM PSMデコーダを使った実装
学習のデータセット ⚫CMU Sim Dial: Simulated dataset ⚫Stanford Multi-domain Dialog(SMD) Dataset:
Human-Woz dataset
実験結果
結果の測定と比較モデル ⚫BLEU-4:今回生成された応答~参照間のコーパスレベル ⚫Entity F1:生成された応答に正しいエンティティが付与されているか の確認 ⚫Act F1:生成された応答が正しい動作をするかどうか ⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認 ⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)
⚫BE(for SMD) BE=(bleu*ent)^(1/2)
結果からの分析
結果からの分析 SR
Conclusion ⚫対話生成システムに対する手法としてZSDGを提案した。 ⚫また、対話情報の共有がレベル的にパターンを持つといった仮定 の下、SRを持つAMアルゴリズムの提案を行った。 ⚫これらのアルゴリズムは、合成されたデータセットや実際のデータ セットの両方での有用性が確認された。