Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

66cc992074ab4522374e429c11fef225?s=47 youichiro
October 08, 2018

Incorporating Copying Mechanism in Sequence-to-Sequence Learning

長岡技術科学大学
自然言語処理研究室
文献紹介(2018-10-09)

66cc992074ab4522374e429c11fef225?s=128

youichiro

October 08, 2018
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. Incorporating Copying Mechanism in Sequence-to-Sequence Learning Jiatao Gu, Zhengdong Lu,

    Hang Li, Victor O.K. Li Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 1631–1640, 2016. ⽂献紹介(2018-10-08) ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
  2. Incorporating Copying Mechanism in Sequence-to-Sequence Learning l Sequence-to-Sequenceモデルに copy mechanism

    を 組み込んだ CopyNet を提案 u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒ する 2
  3. Introduction Copy mechanism: ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい ü OOVも出⼒できる 3 Copy! Copy!

    ⼈名 セリフ
  4. Attention Mechanism DecodeするときにEncoder のどの隠れ層ベクトルに着 ⽬するべきかを学習 4 " = $ "&

    ℎ& ( &)* Decoder Encoder Attention RNNSearch
  5. CopyNet -overview- l RNNSearchに copy mechanism を組み込む 5

  6. CopyNet -overview- 6 RNNSearchと同じ 導⼊部分 1 2

  7. CopyNet -Prediction- 7 Copy-Mode Generate-Mode Encoderの 隠れ層ベクトル が⼊⼒⽂中(M)に存在しなければCopy-Modeは0 1 Decoderの出⼒

    = (vocabulary内の単語が出⼒される確率) +(⼊⼒⽂中の単語がコピーされる確率)
  8. CopyNet -State Update- 8 2 Encoderの 隠れ層ベクトル

  9. CopyNet -State Update- 9 / "/* " RNNSearch CopyNet /

    "/* " / / + "/* : "/* の • "/* が⼊⼒⽂にあれば, 対応するEncoderの隠れ 層ベクトルを返す • 無ければ0 前回の出⼒−1 に対応するEncoderの隠れ層ベクトルを加えて DecoderのStateを更新 (−1 を使って Stateを更新 )
  10. Experiment -Synthetic Dataset- 10 系列のコピーを含む, ⼈⼯的な系列変換データを作成 l 1000種類の数値と変数x, yを組み合わせた系列を作る l

    5種類の系列変換ルールに則る(下図) l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成 l Training: 20,000 instances Test: 20,000 instances
  11. Experiment -Synthetic Dataset- 11 結果

  12. Experiment -Summarization- 12 l LCSTSデータセットで要約 l Weibo(中国のSNS)の投稿から収集したshort news(80⽂ 字未満)とその要約(10-30⽂字)の対 l

    Training: 2.4M sent. Test: 725 sent. 結果
  13. Experiment -Summarization- 13 • ⼊⼒⽂中の連続した単語もコピーできている • OOVを含む要約も⽣成できている

  14. Experiment -Dialogue- 14 l Baidu Tieba(中国の掲⽰板)から会話を収集 l 収集した会話から1問1答の会話を173パターン抽出 l Synthetic

    datasetと同様に、変数に適切なsub- sequence(⼈名, ⽇付等)を代⼊してデータを拡張 l Training: 6,500 instances Test: 1,500 instances TrainingとTest で代⼊したsub- sequenceの重 複がないデータ 結果
  15. Conclusion 15 l Sequence-to-Sequenceモデルに copy mechanism を組み込んだ CopyNet を提案 l

    3つの実験結果において、copy mechanismを組み込 むことで性能が⼤きく向上した l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単 語も扱うことができた
  16. 16

  17. 参考 l ACL2016読み会@すずかけ台 http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf l Attentionの画像 https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512 17

  18. CopyNet -Prediction- 18 1 , −1 , , = ,

    , −1 , , + ( , | , −1 , , ) Generate-Mode Copy-Mode
  19. CopyNet -State Update- 19 2 / "/* " RNNSearch /

    "/* " CopyNet / / + Encoderの 隠れ層ベクトル
  20. Experiment -Synthetic Dataset- 20

  21. Experiment -Dialogue- 21