Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

youichiro
October 08, 2018

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

長岡技術科学大学
自然言語処理研究室
文献紹介(2018-10-09)

youichiro

October 08, 2018
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. Incorporating Copying Mechanism
    in Sequence-to-Sequence Learning
    Jiatao Gu, Zhengdong Lu, Hang Li, Victor O.K. Li
    Proceedings of the 54th Annual Meeting of the Association for Computational
    Linguistics, pages 1631–1640, 2016.
    ⽂献紹介(2018-10-08)
    ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗
    1

    View Slide

  2. Incorporating Copying Mechanism
    in Sequence-to-Sequence Learning
    l Sequence-to-Sequenceモデルに copy mechanism を
    組み込んだ CopyNet を提案
    u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい
    u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒
    する
    2

    View Slide

  3. Introduction
    Copy mechanism:
    ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい
    ü OOVも出⼒できる
    3
    Copy!
    Copy!
    ⼈名
    セリフ

    View Slide

  4. Attention Mechanism
    DecodeするときにEncoder
    のどの隠れ層ベクトルに着
    ⽬するべきかを学習
    4
    "
    = $ "&
    ℎ&
    (
    &)*
    Decoder
    Encoder
    Attention
    RNNSearch

    View Slide

  5. CopyNet -overview-
    l RNNSearchに copy mechanism を組み込む
    5

    View Slide

  6. CopyNet -overview-
    6
    RNNSearchと同じ
    導⼊部分
    1
    2

    View Slide

  7. CopyNet -Prediction-
    7
    Copy-Mode
    Generate-Mode
    Encoderの
    隠れ層ベクトル

    が⼊⼒⽂中(M)に存在しなければCopy-Modeは0
    1
    Decoderの出⼒
    = (vocabulary内の単語が出⼒される確率)
    +(⼊⼒⽂中の単語がコピーされる確率)

    View Slide

  8. CopyNet -State Update-
    8
    2
    Encoderの
    隠れ層ベクトル

    View Slide

  9. CopyNet -State Update-
    9
    /

    "/*
    "
    RNNSearch CopyNet
    /

    "/*
    "
    /
    /

    "/*
    : "/*

    • "/*
    が⼊⼒⽂にあれば,
    対応するEncoderの隠れ
    層ベクトルを返す
    • 無ければ0
    前回の出⼒−1
    に対応するEncoderの隠れ層ベクトルを加えて
    DecoderのStateを更新
    (−1
    を使って
    Stateを更新 )

    View Slide

  10. Experiment -Synthetic Dataset-
    10
    系列のコピーを含む, ⼈⼯的な系列変換データを作成
    l 1000種類の数値と変数x, yを組み合わせた系列を作る
    l 5種類の系列変換ルールに則る(下図)
    l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成
    l Training: 20,000 instances Test: 20,000 instances

    View Slide

  11. Experiment -Synthetic Dataset-
    11
    結果

    View Slide

  12. Experiment -Summarization-
    12
    l LCSTSデータセットで要約
    l Weibo(中国のSNS)の投稿から収集したshort news(80⽂
    字未満)とその要約(10-30⽂字)の対
    l Training: 2.4M sent. Test: 725 sent.
    結果

    View Slide

  13. Experiment -Summarization-
    13
    • ⼊⼒⽂中の連続した単語もコピーできている
    • OOVを含む要約も⽣成できている

    View Slide

  14. Experiment -Dialogue-
    14
    l Baidu Tieba(中国の掲⽰板)から会話を収集
    l 収集した会話から1問1答の会話を173パターン抽出
    l Synthetic datasetと同様に、変数に適切なsub-
    sequence(⼈名, ⽇付等)を代⼊してデータを拡張
    l Training: 6,500 instances Test: 1,500 instances
    TrainingとTest
    で代⼊したsub-
    sequenceの重
    複がないデータ
    結果

    View Slide

  15. Conclusion
    15
    l Sequence-to-Sequenceモデルに copy mechanism
    を組み込んだ CopyNet を提案
    l 3つの実験結果において、copy mechanismを組み込
    むことで性能が⼤きく向上した
    l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単
    語も扱うことができた

    View Slide

  16. 16

    View Slide

  17. 参考
    l ACL2016読み会@すずかけ台
    http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf
    l Attentionの画像
    https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512
    17

    View Slide

  18. CopyNet -Prediction-
    18
    1


    , −1
    ,
    , =
    ,
    , −1
    ,
    , + (
    , |
    , −1
    ,
    , )
    Generate-Mode Copy-Mode

    View Slide

  19. CopyNet -State Update-
    19
    2
    /

    "/*
    "
    RNNSearch
    /

    "/*
    "
    CopyNet
    /
    /

    Encoderの
    隠れ層ベクトル

    View Slide

  20. Experiment -Synthetic Dataset-
    20

    View Slide

  21. Experiment -Dialogue-
    21

    View Slide