Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
Search
youichiro
October 08, 2018
Technology
0
140
Incorporating Copying Mechanism in Sequence-to-Sequence Learning
長岡技術科学大学
自然言語処理研究室
文献紹介(2018-10-09)
youichiro
October 08, 2018
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.3k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
61
Multi-Agent Dual Learning
youichiro
1
120
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
91
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
110
勉強勉強会
youichiro
0
63
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
150
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
110
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
150
Other Decks in Technology
See All in Technology
転移学習とドメイン適応の基礎
kmatsui
2
570
Garoon 開発チーム / Garoon development team
cybozuinsideout
PRO
2
2.9k
インシデントレスポンスのライフサイクルを廻すポイントってなに / Pinpoints of Incidentresponse Lifecycle for Operation
sakaitakeshi
1
300
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.6k
アクセシビリティを考慮したUI/CSSフレームワーク・ライブラリ選定
yajihum
0
170
ChatGPT for IT Service Management (IT Pro)
dahatake
2
190
Databricks における 『MLOps』
databricksjapan
2
140
なぜ NOT A HOTEL が Web3 に取り組むのか - NOT A HOTEL TECH TALK
ynunokawa
0
160
「手動オペレーションに定評がある」と言われた私が心がけていること / phpcon_odawara2024
blue_goheimochi
2
320
4年前、あるじゃん老害エンジニアLT合戦に登壇、米国西海岸コンピュータ歴史博物館体験記の続編
toshi_atsumi
0
200
マルチアカウント環境への発見的統制の導入
ch1aki
1
1.3k
Data and AI Governance: Existing Challenges and Emerging Trends
scotthsieh825
0
160
Featured
See All Featured
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Visualization
eitanlees
135
14k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
76
41k
Into the Great Unknown - MozCon
thekraken
10
980
A Tale of Four Properties
chriscoyier
150
22k
Art, The Web, and Tiny UX
lynnandtonic
288
19k
Typedesign – Prime Four
hannesfritz
36
2.1k
The Cost Of JavaScript in 2023
addyosmani
14
3.8k
Agile that works and the tools we love
rasmusluckow
324
20k
Embracing the Ebb and Flow
colly
79
4.1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
20
1.6k
A Philosophy of Restraint
colly
196
16k
Transcript
Incorporating Copying Mechanism in Sequence-to-Sequence Learning Jiatao Gu, Zhengdong Lu,
Hang Li, Victor O.K. Li Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 1631–1640, 2016. ⽂献紹介(2018-10-08) ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
Incorporating Copying Mechanism in Sequence-to-Sequence Learning l Sequence-to-Sequenceモデルに copy mechanism
を 組み込んだ CopyNet を提案 u ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい u 単語を⽣成する確率と⼊⼒単語をコピーする確率を組み合わせて出⼒ する 2
Introduction Copy mechanism: ü ⼊⼒⽂中の重要なセグメント(単語列)をコピーする現象を扱いたい ü OOVも出⼒できる 3 Copy! Copy!
⼈名 セリフ
Attention Mechanism DecodeするときにEncoder のどの隠れ層ベクトルに着 ⽬するべきかを学習 4 " = $ "&
ℎ& ( &)* Decoder Encoder Attention RNNSearch
CopyNet -overview- l RNNSearchに copy mechanism を組み込む 5
CopyNet -overview- 6 RNNSearchと同じ 導⼊部分 1 2
CopyNet -Prediction- 7 Copy-Mode Generate-Mode Encoderの 隠れ層ベクトル が⼊⼒⽂中(M)に存在しなければCopy-Modeは0 1 Decoderの出⼒
= (vocabulary内の単語が出⼒される確率) +(⼊⼒⽂中の単語がコピーされる確率)
CopyNet -State Update- 8 2 Encoderの 隠れ層ベクトル
CopyNet -State Update- 9 / "/* " RNNSearch CopyNet /
"/* " / / + "/* : "/* の • "/* が⼊⼒⽂にあれば, 対応するEncoderの隠れ 層ベクトルを返す • 無ければ0 前回の出⼒−1 に対応するEncoderの隠れ層ベクトルを加えて DecoderのStateを更新 (−1 を使って Stateを更新 )
Experiment -Synthetic Dataset- 10 系列のコピーを含む, ⼈⼯的な系列変換データを作成 l 1000種類の数値と変数x, yを組み合わせた系列を作る l
5種類の系列変換ルールに則る(下図) l 変数x, yに1~15個の数値を代⼊して多数の⼈⼯データを作成 l Training: 20,000 instances Test: 20,000 instances
Experiment -Synthetic Dataset- 11 結果
Experiment -Summarization- 12 l LCSTSデータセットで要約 l Weibo(中国のSNS)の投稿から収集したshort news(80⽂ 字未満)とその要約(10-30⽂字)の対 l
Training: 2.4M sent. Test: 725 sent. 結果
Experiment -Summarization- 13 • ⼊⼒⽂中の連続した単語もコピーできている • OOVを含む要約も⽣成できている
Experiment -Dialogue- 14 l Baidu Tieba(中国の掲⽰板)から会話を収集 l 収集した会話から1問1答の会話を173パターン抽出 l Synthetic
datasetと同様に、変数に適切なsub- sequence(⼈名, ⽇付等)を代⼊してデータを拡張 l Training: 6,500 instances Test: 1,500 instances TrainingとTest で代⼊したsub- sequenceの重 複がないデータ 結果
Conclusion 15 l Sequence-to-Sequenceモデルに copy mechanism を組み込んだ CopyNet を提案 l
3つの実験結果において、copy mechanismを組み込 むことで性能が⼤きく向上した l ⼊⼒⽂中のセグメントを正しくコピーでき、OOVの単 語も扱うことができた
16
参考 l ACL2016読み会@すずかけ台 http://www.lr.pi.titech.ac.jp/~sasano/acl2016suzukake/slides/08.pdf l Attentionの画像 https://hackernoon.com/attention-mechanism-in-neural-network-30aaf5e39512 17
CopyNet -Prediction- 18 1 , −1 , , = ,
, −1 , , + ( , | , −1 , , ) Generate-Mode Copy-Mode
CopyNet -State Update- 19 2 / "/* " RNNSearch /
"/* " CopyNet / / + Encoderの 隠れ層ベクトル
Experiment -Synthetic Dataset- 20
Experiment -Dialogue- 21