文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]

Transcript

1. Zero-Shot Dialog Generation with Cross-Domain Latent Action 2019/02/18 長岡技術科学大学 自然言語処理研究室

   学部3年 守谷 歩

2. Literature ⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions ⚫Tiancheng Zhao

   and Maxine Eskenazi ⚫Proceedings of the SIGDIAL 2018 Conference, pages 1– 10,Melbourne, Australia, 12-14 July 2018.c©2018 Association for Computational Linguistics

3. Abstract ⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフ レームワークとしてダイアログ応答生成であるGEDM(Generatuce End- to-end Dialog Model)といったモデルがある。

4. Abstract ⚫GEDMの問題点として、大量の学習データを必要とする点がある ⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメイン の学習を行う（マルチタスク） ⚫データありの関連しているドメインから、データなしの新規のドメイ ンに情報を付与する(Zero-Shot)

5. Zero shot Dialog Generation(ZSDG)の設定 ⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。 ⚫このZSDGモデルはc,dが与えられ、ｘを出力するように学習する。 ⚫このモデルのゴールとして未知のターゲットドメインをソースドメイ ンに関連付けし,c*d→xを学習する。

6. Seed Response (SR) ⚫SR(d)をタプルとして定義する。 ⚫各タプルはドメインに対して注釈がついている:{x,a,d} ⚫この時xは対話の例、aは注釈、dはドメインである

7. AM(Aciton Matching)アルゴリズム

8. ロス最適化 ⚫ZからXへのロス関数Ldd（ドメインを入力としたもの） ⚫対話のロス関数Ldialog

9. 実験モデル詳細 ⚫認識用ネットワークR:双方向GRU ⚫エンコーダFe:階層型リカレントLSTMエンコーダ（HRE)[Li et al 2015] ⚫デコーダFd: ⚫LSTM 注釈デコーダ ⚫LSTM

   PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]

10. LSTM PSMデコーダを使った実装

11. 学習のデータセット ⚫CMU Sim Dial: Simulated dataset ⚫Stanford Multi-domain Dialog(SMD) Dataset:

    Human-Woz dataset

12. 実験結果

13. 結果の測定と比較モデル ⚫BLEU-4:今回生成された応答～参照間のコーパスレベル ⚫Entity F1:生成された応答に正しいエンティティが付与されているか の確認 ⚫Act F1:生成された応答が正しい動作をするかどうか ⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認 ⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)

    ⚫BE(for SMD) BE=(bleu*ent)^(1/2)

14. 結果からの分析

15. 結果からの分析 SR

16. Conclusion ⚫対話生成システムに対する手法としてZSDGを提案した。 ⚫また、対話情報の共有がレベル的にパターンを持つといった仮定 の下、SRを持つAMアルゴリズムの提案を行った。 ⚫これらのアルゴリズムは、合成されたデータセットや実際のデータ セットの両方での有用性が確認された。