Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
youichiro
October 08, 2018
Technology
0
100
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
長岡技術科学大学
自然言語処理研究室
文献紹介(2018-10-09)
youichiro
October 08, 2018
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
700
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
43
Multi-Agent Dual Learning
youichiro
1
69
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
67
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
83
勉強勉強会
youichiro
0
44
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
110
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
70
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
120
Other Decks in Technology
See All in Technology
Power Query 日時の変換でちょっと焦ったケース +1 / Power Query Some cases
ishiayaya
0
150
LINEのData Platform室が実践する大規模分散環境のCapacity Planning
line_developers
PRO
0
250
キャッチアップ Android 13 / Catch up Android 13
yanzm
2
950
Nutanix_Meetup_20220511
keigotomomatsu
0
140
Data-Driven Healthcare - Techplay
kotaroito
0
100
mROS 2のススメ
takasehideki
0
290
長年運用されてきたモノリシックアプリケーションをコンテナ化しようとするとどんな問題に遭遇するか? / SRE NEXT 2022
nulabinc
PRO
15
7.2k
[SRE NEXT 2022]ヤプリのSREにおけるセキュリティ強化の取り組みを公開する
mmochi23
1
290
#BabylonJS5 の祭ツイートまとめ Let's take a look at what people create with the latest #BabylonJS5
chomado
0
740
エンタープライズにおけるSRE立ち上げとNew Relic選定に至った背景とは / SRE Startup and New Relic in the Enterprise
tomoyakitaura
2
140
一人から始めるプロダクトSRE / How to start SRE in a product team, all by yourself
vtryo
4
2.4k
スタートアップ入社4日目までに考えたAWSのセキュリティ向上/ Startup AWS Security
shonansurvivors
3
2.6k
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
324
54k
The Invisible Side of Design
smashingmag
289
48k
From Idea to $5000 a Month in 5 Months
shpigford
372
44k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
7
1k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
655
120k
Bash Introduction
62gerente
596
210k
Ruby is Unlike a Banana
tanoku
91
9.2k
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
236
1M
Why You Should Never Use an ORM
jnunemaker
PRO
47
5.5k
Fontdeck: Realign not Redesign
paulrobertlloyd
73
4.1k
Designing with Data
zakiwarfel
91
3.9k
Transcript
Incorporating Copying Mechanism in Sequence-to-Sequence Learning Jiatao Gu, Zhengdong Lu,
Hang Li, Victor O.K. Li Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 1631–1640, 2016. ⽂献紹介(2018-10-08) ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
Incorporating Copying Mechanism in Sequence-to-Sequence Learning l Sequence-to-Sequenceモデルに copy mechanism
を 組み込んだ CopyNet を提案 u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒ する 2
Introduction Copy mechanism: ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい ü OOVも出⼒できる 3 Copy! Copy!
⼈名 セリフ
Attention Mechanism DecodeするときにEncoder のどの隠れ層ベクトルに着 ⽬するべきかを学習 4 " = $ "&
ℎ& ( &)* Decoder Encoder Attention RNNSearch
CopyNet -overview- l RNNSearchに copy mechanism を組み込む 5
CopyNet -overview- 6 RNNSearchと同じ 導⼊部分 1 2
CopyNet -Prediction- 7 Copy-Mode Generate-Mode Encoderの 隠れ層ベクトル が⼊⼒⽂中(M)に存在しなければCopy-Modeは0 1 Decoderの出⼒
= (vocabulary内の単語が出⼒される確率) +(⼊⼒⽂中の単語がコピーされる確率)
CopyNet -State Update- 8 2 Encoderの 隠れ層ベクトル
CopyNet -State Update- 9 / "/* " RNNSearch CopyNet /
"/* " / / + "/* : "/* の • "/* が⼊⼒⽂にあれば, 対応するEncoderの隠れ 層ベクトルを返す • 無ければ0 前回の出⼒−1 に対応するEncoderの隠れ層ベクトルを加えて DecoderのStateを更新 (−1 を使って Stateを更新 )
Experiment -Synthetic Dataset- 10 系列のコピーを含む, ⼈⼯的な系列変換データを作成 l 1000種類の数値と変数x, yを組み合わせた系列を作る l
5種類の系列変換ルールに則る(下図) l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成 l Training: 20,000 instances Test: 20,000 instances
Experiment -Synthetic Dataset- 11 結果
Experiment -Summarization- 12 l LCSTSデータセットで要約 l Weibo(中国のSNS)の投稿から収集したshort news(80⽂ 字未満)とその要約(10-30⽂字)の対 l
Training: 2.4M sent. Test: 725 sent. 結果
Experiment -Summarization- 13 • ⼊⼒⽂中の連続した単語もコピーできている • OOVを含む要約も⽣成できている
Experiment -Dialogue- 14 l Baidu Tieba(中国の掲⽰板)から会話を収集 l 収集した会話から1問1答の会話を173パターン抽出 l Synthetic
datasetと同様に、変数に適切なsub- sequence(⼈名, ⽇付等)を代⼊してデータを拡張 l Training: 6,500 instances Test: 1,500 instances TrainingとTest で代⼊したsub- sequenceの重 複がないデータ 結果
Conclusion 15 l Sequence-to-Sequenceモデルに copy mechanism を組み込んだ CopyNet を提案 l
3つの実験結果において、copy mechanismを組み込 むことで性能が⼤きく向上した l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単 語も扱うことができた
16
参考 l ACL2016読み会@すずかけ台 http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf l Attentionの画像 https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512 17
CopyNet -Prediction- 18 1 , −1 , , = ,
, −1 , , + ( , | , −1 , , ) Generate-Mode Copy-Mode
CopyNet -State Update- 19 2 / "/* " RNNSearch /
"/* " CopyNet / / + Encoderの 隠れ層ベクトル
Experiment -Synthetic Dataset- 20
Experiment -Dialogue- 21