Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Incorporating Copying Mechanism in Sequence-to-...
Search
youichiro
October 08, 2018
Technology
0
160
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
長岡技術科学大学
自然言語処理研究室
文献紹介(2018-10-09)
youichiro
October 08, 2018
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.5k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
92
Multi-Agent Dual Learning
youichiro
1
170
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
120
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
130
勉強勉強会
youichiro
0
86
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
190
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
160
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
200
Other Decks in Technology
See All in Technology
AI エージェントと考え直すデータ基盤
na0
11
3.2k
Lazy application authentication with Tailscale
bluehatbrit
0
220
自律的なスケーリング手法FASTにおけるVPoEとしてのアカウンタビリティ / dev-productivity-con-2025
yoshikiiida
2
17k
AWS認定を取る中で感じたこと
siromi
1
190
shake-upを科学する
rsakata
6
540
スタートアップに選択肢を 〜生成AIを活用したセカンダリー事業への挑戦〜
nstock
0
250
ネットワーク保護はどう変わるのか?re:Inforce 2025最新アップデート解説
tokushun
0
210
対話型音声AIアプリケーションの信頼性向上の取り組み
ivry_presentationmaterials
1
270
CRE Camp #1 エンジニアリングを民主化するCREチームでありたい話
mntsq
1
140
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
1
240
Geminiとv0による高速プロトタイピング
shinya337
1
280
20250705 Headlamp: 專注可擴展性的 Kubernetes 用戶界面
pichuang
0
280
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
39k
It's Worth the Effort
3n
185
28k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Practical Orchestrator
shlominoach
189
11k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Building Applications with DynamoDB
mza
95
6.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Transcript
Incorporating Copying Mechanism in Sequence-to-Sequence Learning Jiatao Gu, Zhengdong Lu,
Hang Li, Victor O.K. Li Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 1631–1640, 2016. ⽂献紹介(2018-10-08) ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
Incorporating Copying Mechanism in Sequence-to-Sequence Learning l Sequence-to-Sequenceモデルに copy mechanism
を 組み込んだ CopyNet を提案 u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒ する 2
Introduction Copy mechanism: ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい ü OOVも出⼒できる 3 Copy! Copy!
⼈名 セリフ
Attention Mechanism DecodeするときにEncoder のどの隠れ層ベクトルに着 ⽬するべきかを学習 4 " = $ "&
ℎ& ( &)* Decoder Encoder Attention RNNSearch
CopyNet -overview- l RNNSearchに copy mechanism を組み込む 5
CopyNet -overview- 6 RNNSearchと同じ 導⼊部分 1 2
CopyNet -Prediction- 7 Copy-Mode Generate-Mode Encoderの 隠れ層ベクトル が⼊⼒⽂中(M)に存在しなければCopy-Modeは0 1 Decoderの出⼒
= (vocabulary内の単語が出⼒される確率) +(⼊⼒⽂中の単語がコピーされる確率)
CopyNet -State Update- 8 2 Encoderの 隠れ層ベクトル
CopyNet -State Update- 9 / "/* " RNNSearch CopyNet /
"/* " / / + "/* : "/* の • "/* が⼊⼒⽂にあれば, 対応するEncoderの隠れ 層ベクトルを返す • 無ければ0 前回の出⼒−1 に対応するEncoderの隠れ層ベクトルを加えて DecoderのStateを更新 (−1 を使って Stateを更新 )
Experiment -Synthetic Dataset- 10 系列のコピーを含む, ⼈⼯的な系列変換データを作成 l 1000種類の数値と変数x, yを組み合わせた系列を作る l
5種類の系列変換ルールに則る(下図) l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成 l Training: 20,000 instances Test: 20,000 instances
Experiment -Synthetic Dataset- 11 結果
Experiment -Summarization- 12 l LCSTSデータセットで要約 l Weibo(中国のSNS)の投稿から収集したshort news(80⽂ 字未満)とその要約(10-30⽂字)の対 l
Training: 2.4M sent. Test: 725 sent. 結果
Experiment -Summarization- 13 • ⼊⼒⽂中の連続した単語もコピーできている • OOVを含む要約も⽣成できている
Experiment -Dialogue- 14 l Baidu Tieba(中国の掲⽰板)から会話を収集 l 収集した会話から1問1答の会話を173パターン抽出 l Synthetic
datasetと同様に、変数に適切なsub- sequence(⼈名, ⽇付等)を代⼊してデータを拡張 l Training: 6,500 instances Test: 1,500 instances TrainingとTest で代⼊したsub- sequenceの重 複がないデータ 結果
Conclusion 15 l Sequence-to-Sequenceモデルに copy mechanism を組み込んだ CopyNet を提案 l
3つの実験結果において、copy mechanismを組み込 むことで性能が⼤きく向上した l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単 語も扱うことができた
16
参考 l ACL2016読み会@すずかけ台 http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf l Attentionの画像 https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512 17
CopyNet -Prediction- 18 1 , −1 , , = ,
, −1 , , + ( , | , −1 , , ) Generate-Mode Copy-Mode
CopyNet -State Update- 19 2 / "/* " RNNSearch /
"/* " CopyNet / / + Encoderの 隠れ層ベクトル
Experiment -Synthetic Dataset- 20
Experiment -Dialogue- 21