長岡技術科学大学 自然言語処理研究室 学部3年 守谷 歩
Zero-Shot Dialog Generationwith Cross-Domain LatentAction2019/02/18長岡技術科学大学 自然言語処理研究室学部3年 守谷 歩
View Slide
Literature⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions⚫Tiancheng Zhao and Maxine Eskenazi⚫Proceedings of the SIGDIAL 2018 Conference, pages 1–10,Melbourne, Australia, 12-14 July 2018.c©2018 Association forComputational Linguistics
Abstract⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフレームワークとしてダイアログ応答生成であるGEDM(GeneratuceEnd- to-end Dialog Model)といったモデルがある。
Abstract⚫GEDMの問題点として、大量の学習データを必要とする点がある⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメインの学習を行う(マルチタスク)⚫データありの関連しているドメインから、データなしの新規のドメインに情報を付与する(Zero-Shot)
Zero shot Dialog Generation(ZSDG)の設定⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。⚫このZSDGモデルはc,dが与えられ、xを出力するように学習する。⚫このモデルのゴールとして未知のターゲットドメインをソースドメインに関連付けし,c*d→xを学習する。
Seed Response (SR)⚫SR(d)をタプルとして定義する。⚫各タプルはドメインに対して注釈がついている:{x,a,d}⚫この時xは対話の例、aは注釈、dはドメインである
AM(Aciton Matching)アルゴリズム
ロス最適化⚫ZからXへのロス関数Ldd(ドメインを入力としたもの)⚫対話のロス関数Ldialog
実験モデル詳細⚫認識用ネットワークR:双方向GRU⚫エンコーダFe:階層型リカレントLSTMエンコーダ(HRE)[Li et al 2015]⚫デコーダFd:⚫LSTM 注釈デコーダ⚫LSTM PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]
LSTM PSMデコーダを使った実装
学習のデータセット⚫CMU Sim Dial: Simulated dataset⚫Stanford Multi-domain Dialog(SMD) Dataset: Human-Woz dataset
実験結果
結果の測定と比較モデル⚫BLEU-4:今回生成された応答~参照間のコーパスレベル⚫Entity F1:生成された応答に正しいエンティティが付与されているかの確認⚫Act F1:生成された応答が正しい動作をするかどうか⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)⚫BE(for SMD) BE=(bleu*ent)^(1/2)
結果からの分析
結果からの分析 SR
Conclusion⚫対話生成システムに対する手法としてZSDGを提案した。⚫また、対話情報の共有がレベル的にパターンを持つといった仮定の下、SRを持つAMアルゴリズムの提案を行った。⚫これらのアルゴリズムは、合成されたデータセットや実際のデータセットの両方での有用性が確認された。