Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]

Ayumu
February 18, 2019

文献紹介[Zero-Shot Dialog Generation with Cross-Domain Latent Action]

長岡技術科学大学 自然言語処理研究室
学部3年 守谷 歩

Ayumu

February 18, 2019
Tweet

More Decks by Ayumu

Other Decks in Technology

Transcript

  1. Zero-Shot Dialog Generation
    with Cross-Domain Latent
    Action
    2019/02/18
    長岡技術科学大学 自然言語処理研究室
    学部3年 守谷 歩

    View Slide

  2. Literature
    ⚫“Zero-Shot Dialog Generation with Cross-Domain Latent Actions
    ⚫Tiancheng Zhao and Maxine Eskenazi
    ⚫Proceedings of the SIGDIAL 2018 Conference, pages 1–
    10,Melbourne, Australia, 12-14 July 2018.c©2018 Association for
    Computational Linguistics

    View Slide

  3. Abstract
    ⚫E2E(End to End)のタスク型、非タスク型対話システムの強力なフ
    レームワークとしてダイアログ応答生成であるGEDM(Generatuce
    End- to-end Dialog Model)といったモデルがある。

    View Slide

  4. Abstract
    ⚫GEDMの問題点として、大量の学習データを必要とする点がある
    ⚫GEDMをより柔軟にし、1つのモデルに対して同時に多くのドメイン
    の学習を行う(マルチタスク)
    ⚫データありの関連しているドメインから、データなしの新規のドメイ
    ンに情報を付与する(Zero-Shot)

    View Slide

  5. Zero shot Dialog Generation(ZSDG)の設定
    ⚫対話コンテキストc,応答x,ドメインdとし、データを{c,x,d}とする。
    ⚫このZSDGモデルはc,dが与えられ、xを出力するように学習する。
    ⚫このモデルのゴールとして未知のターゲットドメインをソースドメイ
    ンに関連付けし,c*d→xを学習する。

    View Slide

  6. Seed Response (SR)
    ⚫SR(d)をタプルとして定義する。
    ⚫各タプルはドメインに対して注釈がついている:{x,a,d}
    ⚫この時xは対話の例、aは注釈、dはドメインである

    View Slide

  7. AM(Aciton Matching)アルゴリズム

    View Slide

  8. ロス最適化
    ⚫ZからXへのロス関数Ldd(ドメインを入力としたもの)
    ⚫対話のロス関数Ldialog

    View Slide

  9. 実験モデル詳細
    ⚫認識用ネットワークR:双方向GRU
    ⚫エンコーダFe:階層型リカレントLSTMエンコーダ(HRE)[Li et al 2015]
    ⚫デコーダFd:
    ⚫LSTM 注釈デコーダ
    ⚫LSTM PSM(Pointer-sentinel Mixture)デコーダ[Merity et al 2016]

    View Slide

  10. LSTM PSMデコーダを使った実装

    View Slide

  11. 学習のデータセット
    ⚫CMU Sim Dial: Simulated dataset
    ⚫Stanford Multi-domain Dialog(SMD) Dataset: Human-Woz dataset

    View Slide

  12. 実験結果

    View Slide

  13. 結果の測定と比較モデル
    ⚫BLEU-4:今回生成された応答~参照間のコーパスレベル
    ⚫Entity F1:生成された応答に正しいエンティティが付与されているか
    の確認
    ⚫Act F1:生成された応答が正しい動作をするかどうか
    ⚫KB F1:生成されたAPIに正しいトークンが含まれているかの確認
    ⚫BEAK:上記4つの相乗平均:BEAK=(bleu*ent*act*kb)^(1/4)
    ⚫BE(for SMD) BE=(bleu*ent)^(1/2)

    View Slide

  14. 結果からの分析

    View Slide

  15. 結果からの分析 SR

    View Slide

  16. Conclusion
    ⚫対話生成システムに対する手法としてZSDGを提案した。
    ⚫また、対話情報の共有がレベル的にパターンを持つといった仮定
    の下、SRを持つAMアルゴリズムの提案を行った。
    ⚫これらのアルゴリズムは、合成されたデータセットや実際のデータ
    セットの両方での有用性が確認された。

    View Slide