Incorporating Copying Mechanism in Sequence-to-Sequence Learning

長岡技術科学大学
自然言語処理研究室
文献紹介（2018-10-09）

Transcript

1. Incorporating Copying Mechanism
   in Sequence-to-Sequence Learning
   Jiatao Gu, Zhengdong Lu, Hang Li, Victor O.K. Li
   Proceedings of the 54th Annual Meeting of the Association for Computational
   Linguistics, pages 1631–1640, 2016.
   ⽂献紹介（2018-10-08）
   ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗
   1
   

   View Slide

2. Incorporating Copying Mechanism
   in Sequence-to-Sequence Learning
   l Sequence-to-Sequenceモデルに copy mechanism を
   組み込んだ CopyNet を提案
   u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい
   u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒
   する
   2
   

   View Slide

3. Introduction
   Copy mechanism:
   ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい
   ü OOVも出⼒できる
   3
   Copy!
   Copy!
   ⼈名
   セリフ
   

   View Slide

4. Attention Mechanism
   DecodeするときにEncoder
   のどの隠れ層ベクトルに着
   ⽬するべきかを学習
   4
   "
   = $ "&
   ℎ&
   (
   &)*
   Decoder
   Encoder
   Attention
   RNNSearch
   

   View Slide

5. CopyNet -overview-
   l RNNSearchに copy mechanism を組み込む
   5
   

   View Slide

6. CopyNet -overview-
   6
   RNNSearchと同じ
   導⼊部分
   1
   2
   

   View Slide

7. CopyNet -Prediction-
   7
   Copy-Mode
   Generate-Mode
   Encoderの
   隠れ層ベクトル
   
   が⼊⼒⽂中(M)に存在しなければCopy-Modeは0
   1
   Decoderの出⼒
   = (vocabulary内の単語が出⼒される確率)
   ＋(⼊⼒⽂中の単語がコピーされる確率)
   

   View Slide

8. CopyNet -State Update-
   8
   2
   Encoderの
   隠れ層ベクトル
   

   View Slide

9. CopyNet -State Update-
   9
   /
   
   "/*
   "
   RNNSearch CopyNet
   /
   
   "/*
   "
   /
   /
   ＋
   "/*
   : "/*
   の
   • "/*
   が⼊⼒⽂にあれば,
   対応するEncoderの隠れ
   層ベクトルを返す
   • 無ければ0
   前回の出⼒−1
   に対応するEncoderの隠れ層ベクトルを加えて
   DecoderのStateを更新
   (−1
   を使って
   Stateを更新 )
   

   View Slide

10. Experiment -Synthetic Dataset-
    10
    系列のコピーを含む, ⼈⼯的な系列変換データを作成
    l 1000種類の数値と変数x, yを組み合わせた系列を作る
    l 5種類の系列変換ルールに則る（下図）
    l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成
    l Training: 20,000 instances Test: 20,000 instances
    

    View Slide

11. Experiment -Synthetic Dataset-
    11
    結果
    

    View Slide

12. Experiment -Summarization-
    12
    l LCSTSデータセットで要約
    l Weibo(中国のSNS)の投稿から収集したshort news(80⽂
    字未満)とその要約(10-30⽂字)の対
    l Training: 2.4M sent. Test: 725 sent.
    結果
    

    View Slide

13. Experiment -Summarization-
    13
    • ⼊⼒⽂中の連続した単語もコピーできている
    • OOVを含む要約も⽣成できている
    

    View Slide

14. Experiment -Dialogue-
    14
    l Baidu Tieba（中国の掲⽰板）から会話を収集
    l 収集した会話から1問1答の会話を173パターン抽出
    l Synthetic datasetと同様に、変数に適切なsub-
    sequence（⼈名, ⽇付等）を代⼊してデータを拡張
    l Training: 6,500 instances Test: 1,500 instances
    TrainingとTest
    で代⼊したsub-
    sequenceの重
    複がないデータ
    結果
    

    View Slide

15. Conclusion
    15
    l Sequence-to-Sequenceモデルに copy mechanism
    を組み込んだ CopyNet を提案
    l 3つの実験結果において、copy mechanismを組み込
    むことで性能が⼤きく向上した
    l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単
    語も扱うことができた
    

    View Slide

16. View Slide

17. 参考
    l ACL2016読み会@すずかけ台
    http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf
    l Attentionの画像
    https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512
    17
    

    View Slide

18. CopyNet -Prediction-
    18
    1
    
    
    , −1
    ,
    , =
    ,
    , −1
    ,
    , + (
    , |
    , −1
    ,
    , )
    Generate-Mode Copy-Mode
    

    View Slide

19. CopyNet -State Update-
    19
    2
    /
    
    "/*
    "
    RNNSearch
    /
    
    "/*
    "
    CopyNet
    /
    /
    ＋
    Encoderの
    隠れ層ベクトル
    

    View Slide

20. Experiment -Synthetic Dataset-
    20
    

    View Slide

21. Experiment -Dialogue-
    21
    

    View Slide