Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介[Zero-Shot Dialog Generation with Cross-Dom...
Search
Ayumu
February 18, 2019
Technology
0
190
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Ayumu
February 18, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
170
マルチモーダル学習
ayumum
0
160
B3ゼミ 自然言語処理におけるCNN
ayumum
0
100
言語処理年次大会報告
ayumum
0
98
ニューラルネット4
ayumum
0
110
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
170
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
170
ニューラルネット実践
ayumum
0
120
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
KubeCon + CloudNativeCon Japan 2025 Recap by CA
ponkio_o
PRO
0
300
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
27k
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
オーティファイ会社紹介資料 / Autify Company Deck
autifyhq
10
130k
Reach American Airlines®️ Instantly: 19 Calling Methods for Fast Support in the USA
flyamerican
1
170
「良さそう」と「とても良い」の間には 「良さそうだがホンマか」がたくさんある / 2025.07.01 LLM品質Night
smiyawaki0820
1
560
CDKTFについてざっくり理解する!!~CloudFormationからCDKTFへ変換するツールも作ってみた~
masakiokuda
1
140
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
4
3.8k
いつの間にか入れ替わってる!?新しいAWS Security Hubとは?
cmusudakeisuke
0
120
freeeのアクセシビリティの現在地 / freee's Current Position on Accessibility
ymrl
2
190
FOSS4G 2025 KANSAI QGISで点群データをいろいろしてみた
kou_kita
0
400
2025-07-06 QGIS初級ハンズオン「はじめてのQGIS」
kou_kita
0
170
Featured
See All Featured
It's Worth the Effort
3n
185
28k
Scaling GitHub
holman
460
140k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
820
GitHub's CSS Performance
jonrohan
1031
460k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Why Our Code Smells
bkeepers
PRO
336
57k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Practical Orchestrator
shlominoach
189
11k
Producing Creativity
orderedlist
PRO
346
40k
Become a Pro
speakerdeck
PRO
29
5.4k
Transcript
Zero-Shot Dialog Generation with Cross-Domain Latent Action 2019/02/18 長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Literature ⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions ⚫Tiancheng Zhao
and Maxine Eskenazi ⚫Proceedings of the SIGDIAL 2018 Conference, pages 1– 10,Melbourne, Australia, 12-14 July 2018.c©2018 Association for Computational Linguistics
Abstract ⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフ レームワークとしてダイアログ応答生成であるGEDM(Generatuce End- to-end Dialog Model)といったモデルがある。
Abstract ⚫GEDMの問題点として、大量の学習データを必要とする点がある ⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメイン の学習を行う(マルチタスク) ⚫データありの関連しているドメインから、データなしの新規のドメイ ンに情報を付与する(Zero-Shot)
Zero shot Dialog Generation(ZSDG)の設定 ⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。 ⚫このZSDGモデルはc,dが与えられ、xを出力するように学習する。 ⚫このモデルのゴールとして未知のターゲットドメインをソースドメイ ンに関連付けし,c*d→xを学習する。
Seed Response (SR) ⚫SR(d)をタプルとして定義する。 ⚫各タプルはドメインに対して注釈がついている:{x,a,d} ⚫この時xは対話の例、aは注釈、dはドメインである
AM(Aciton Matching)アルゴリズム
ロス最適化 ⚫ZからXへのロス関数Ldd(ドメインを入力としたもの) ⚫対話のロス関数Ldialog
実験モデル詳細 ⚫認識用ネットワークR:双方向GRU ⚫エンコーダFe:階層型リカレントLSTMエンコーダ(HRE)[Li et al 2015] ⚫デコーダFd: ⚫LSTM 注釈デコーダ ⚫LSTM
PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]
LSTM PSMデコーダを使った実装
学習のデータセット ⚫CMU Sim Dial: Simulated dataset ⚫Stanford Multi-domain Dialog(SMD) Dataset:
Human-Woz dataset
実験結果
結果の測定と比較モデル ⚫BLEU-4:今回生成された応答~参照間のコーパスレベル ⚫Entity F1:生成された応答に正しいエンティティが付与されているか の確認 ⚫Act F1:生成された応答が正しい動作をするかどうか ⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認 ⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)
⚫BE(for SMD) BE=(bleu*ent)^(1/2)
結果からの分析
結果からの分析 SR
Conclusion ⚫対話生成システムに対する手法としてZSDGを提案した。 ⚫また、対話情報の共有がレベル的にパターンを持つといった仮定 の下、SRを持つAMアルゴリズムの提案を行った。 ⚫これらのアルゴリズムは、合成されたデータセットや実際のデータ セットの両方での有用性が確認された。