Incorporating Copying Mechanism in Sequence-to-Sequence Learning

長岡技術科学大学
自然言語処理研究室
文献紹介（2018-10-09）

Transcript

1. Incorporating Copying Mechanism in Sequence-to-Sequence Learning Jiatao Gu, Zhengdong Lu, Hang Li, Victor O.K. Li Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 1631–1640, 2016. ⽂献紹介（2018-10-08） ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
2. Incorporating Copying Mechanism in Sequence-to-Sequence Learning l Sequence-to-Sequenceモデルに copy mechanism を 組み込んだ CopyNet を提案 u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒ する 2
3. Introduction Copy mechanism: ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい ü OOVも出⼒できる 3 Copy! Copy! ⼈名 セリフ
4. Attention Mechanism DecodeするときにEncoder のどの隠れ層ベクトルに着 ⽬するべきかを学習 4 " = $ "& ℎ& ( &)* Decoder Encoder Attention RNNSearch
5. CopyNet -overview- l RNNSearchに copy mechanism を組み込む 5
6. CopyNet -overview- 6 RNNSearchと同じ 導⼊部分 1 2
7. CopyNet -Prediction- 7 Copy-Mode Generate-Mode Encoderの 隠れ層ベクトル が⼊⼒⽂中(M)に存在しなければCopy-Modeは0 1 Decoderの出⼒ = (vocabulary内の単語が出⼒される確率) ＋(⼊⼒⽂中の単語がコピーされる確率)
8. CopyNet -State Update- 8 2 Encoderの 隠れ層ベクトル
9. CopyNet -State Update- 9 / "/* " RNNSearch CopyNet / "/* " / / ＋ "/* : "/* の • "/* が⼊⼒⽂にあれば, 対応するEncoderの隠れ 層ベクトルを返す • 無ければ0 前回の出⼒−1 に対応するEncoderの隠れ層ベクトルを加えて DecoderのStateを更新 (−1 を使って Stateを更新 )
10. Experiment -Synthetic Dataset- 10 系列のコピーを含む, ⼈⼯的な系列変換データを作成 l 1000種類の数値と変数x, yを組み合わせた系列を作る l 5種類の系列変換ルールに則る（下図） l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成 l Training: 20,000 instances Test: 20,000 instances
11. Experiment -Synthetic Dataset- 11 結果
12. Experiment -Summarization- 12 l LCSTSデータセットで要約 l Weibo(中国のSNS)の投稿から収集したshort news(80⽂ 字未満)とその要約(10-30⽂字)の対 l Training: 2.4M sent. Test: 725 sent. 結果
13. Experiment -Summarization- 13 • ⼊⼒⽂中の連続した単語もコピーできている • OOVを含む要約も⽣成できている
14. Experiment -Dialogue- 14 l Baidu Tieba（中国の掲⽰板）から会話を収集 l 収集した会話から1問1答の会話を173パターン抽出 l Synthetic datasetと同様に、変数に適切なsub- sequence（⼈名, ⽇付等）を代⼊してデータを拡張 l Training: 6,500 instances Test: 1,500 instances TrainingとTest で代⼊したsub- sequenceの重 複がないデータ 結果
15. Conclusion 15 l Sequence-to-Sequenceモデルに copy mechanism を組み込んだ CopyNet を提案 l 3つの実験結果において、copy mechanismを組み込 むことで性能が⼤きく向上した l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単 語も扱うことができた
17. 参考 l ACL2016読み会@すずかけ台 http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf l Attentionの画像 https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512 17
18. CopyNet -Prediction- 18 1 , −1 , , = , , −1 , , + ( , | , −1 , , ) Generate-Mode Copy-Mode
19. CopyNet -State Update- 19 2 / "/* " RNNSearch / "/* " CopyNet / / ＋ Encoderの 隠れ層ベクトル
20. Experiment -Synthetic Dataset- 20
21. Experiment -Dialogue- 21