Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介[Zero-Shot Dialog Generation with Cross-Dom...
Search
Ayumu
February 18, 2019
Technology
0
170
文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]
長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Ayumu
February 18, 2019
Tweet
Share
More Decks by Ayumu
See All by Ayumu
B3ゼミ_03_28_マルチモーダル学習_.pdf
ayumum
0
150
マルチモーダル学習
ayumum
0
130
B3ゼミ 自然言語処理におけるCNN
ayumum
0
90
言語処理年次大会報告
ayumum
0
79
ニューラルネット4
ayumum
0
100
文献紹介「二値符号予測と誤り訂正を用いたニューラル翻訳モデル」
ayumum
0
140
ニューラルネット3 誤差伝搬法,CNN,word2vec
ayumum
0
160
ニューラルネット実践
ayumum
0
110
パーセプトロンとニューラルネット1
ayumum
0
110
Other Decks in Technology
See All in Technology
最新のWasm事情
askua
5
2.5k
0x5F3759DF
ykozw
0
340
Bluesky 2019〜2022
yamarten
1
120
40代後半で開発エンジニアからクラウドインフラエンジニアにキャリアチェンジし、生き残れる自信がようやく持てた話
iwamot
9
8.2k
Covariance, Contravariance & Diamond
alexdaubois
1
120
Amazon Managed Grafana で AWS IoT TwinMaker によるデジタルツインアプリケーションを動かしてみた
wakatsuki
0
120
生成AIの活用パターンと継続的評価
asei
3
270
複数の外部サービスデータの統合と変換を実現する Railsのインポートアーキテクチャ / Rails import architecture for integration and transformation of multiple external service data
aiandrox
0
340
生成AI入門
shukob
0
160
VPoE Meetup Vol.1 VPoEとして実践してきたことと反省点
coconala_engineer
2
180
Nuxt × Vue Router の力を最大限に引き出す機能を紹介
ytr0903
2
330
Unlearn Modularity
lemiorhan
6
310
Featured
See All Featured
Side Projects
sachag
452
42k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
Practical Orchestrator
shlominoach
186
10k
The Power of CSS Pseudo Elements
geoffreycrofte
71
5.3k
The Cult of Friendly URLs
andyhume
77
6k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
26
4.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
25
1.8k
Why You Should Never Use an ORM
jnunemaker
PRO
53
9k
Building Better People: How to give real-time feedback that sticks.
wjessup
363
19k
Automating Front-end Workflow
addyosmani
1365
200k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Rebuilding a faster, lazier Slack
samanthasiow
79
8.6k
Transcript
Zero-Shot Dialog Generation with Cross-Domain Latent Action 2019/02/18 長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩
Literature ⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions ⚫Tiancheng Zhao
and Maxine Eskenazi ⚫Proceedings of the SIGDIAL 2018 Conference, pages 1– 10,Melbourne, Australia, 12-14 July 2018.c©2018 Association for Computational Linguistics
Abstract ⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフ レームワークとしてダイアログ応答生成であるGEDM(Generatuce End- to-end Dialog Model)といったモデルがある。
Abstract ⚫GEDMの問題点として、大量の学習データを必要とする点がある ⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメイン の学習を行う(マルチタスク) ⚫データありの関連しているドメインから、データなしの新規のドメイ ンに情報を付与する(Zero-Shot)
Zero shot Dialog Generation(ZSDG)の設定 ⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。 ⚫このZSDGモデルはc,dが与えられ、xを出力するように学習する。 ⚫このモデルのゴールとして未知のターゲットドメインをソースドメイ ンに関連付けし,c*d→xを学習する。
Seed Response (SR) ⚫SR(d)をタプルとして定義する。 ⚫各タプルはドメインに対して注釈がついている:{x,a,d} ⚫この時xは対話の例、aは注釈、dはドメインである
AM(Aciton Matching)アルゴリズム
ロス最適化 ⚫ZからXへのロス関数Ldd(ドメインを入力としたもの) ⚫対話のロス関数Ldialog
実験モデル詳細 ⚫認識用ネットワークR:双方向GRU ⚫エンコーダFe:階層型リカレントLSTMエンコーダ(HRE)[Li et al 2015] ⚫デコーダFd: ⚫LSTM 注釈デコーダ ⚫LSTM
PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]
LSTM PSMデコーダを使った実装
学習のデータセット ⚫CMU Sim Dial: Simulated dataset ⚫Stanford Multi-domain Dialog(SMD) Dataset:
Human-Woz dataset
実験結果
結果の測定と比較モデル ⚫BLEU-4:今回生成された応答~参照間のコーパスレベル ⚫Entity F1:生成された応答に正しいエンティティが付与されているか の確認 ⚫Act F1:生成された応答が正しい動作をするかどうか ⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認 ⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)
⚫BE(for SMD) BE=(bleu*ent)^(1/2)
結果からの分析
結果からの分析 SR
Conclusion ⚫対話生成システムに対する手法としてZSDGを提案した。 ⚫また、対話情報の共有がレベル的にパターンを持つといった仮定 の下、SRを持つAMアルゴリズムの提案を行った。 ⚫これらのアルゴリズムは、合成されたデータセットや実際のデータ セットの両方での有用性が確認された。