Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
intro_paper_0829.pdf
Search
MARUYAMA
August 28, 2017
0
100
intro_paper_0829.pdf
MARUYAMA
August 28, 2017
Tweet
Share
More Decks by MARUYAMA
See All by MARUYAMA
vampire.pdf
tmaru0204
0
170
Misspelling_Oblivious_Word_Embedding.pdf
tmaru0204
0
180
Simple_Unsupervised_Summarization_by_Contextual_Matching.pdf
tmaru0204
0
170
Controlling_Text_Complexity_in_Neural_Machine_Translation.pdf
tmaru0204
0
160
20191028_literature-review.pdf
tmaru0204
0
150
Hint-Based_Training_for_Non-Autoregressive_Machine_Translation.pdf
tmaru0204
0
130
Soft_Contextual_Data_Augmentation_for_Neural_Machine_Translation_.pdf
tmaru0204
0
160
An_Embarrassingly_Simple_Approach_for_Transfer_Learning_from_Pretrained_Language_Models_.pdf
tmaru0204
0
150
Addressing_Trobulesome_Words_in_Neural_Machine_Translation.pdf
tmaru0204
0
150
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.4k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.9k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Fireside Chat
paigeccino
37
3.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
Docker and Python
trallard
44
3.5k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.7k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Making Projects Easy
brettharned
116
6.3k
Transcript
Exploring Neural Text Simplification Models S. Nisioi, S. Štajner, S.
P. Ponzetto, and L. P. Dinu Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 85–91, 2017. B4 丸⼭ 拓海
Abstract Ø ニューラル機械翻訳を利⽤した平易化 (Neural Text Simplification; NTS) Ø 既存の⾃動平易化システムと異なる点 •
「語彙平易化」と「内容の削減」を同時に実⾏ Ø⼈⼿評価 • 「⽂法」と「意味保持性」で⾼いスコア • State-of-the-artな平易化システムよりも ⾼いレベルの平易化が可能 2
Introduction Ø seq2seq modelは様々な分野で成功している Ø これまでの平易化の試み • Phrase-Based SMT (PBSMT)
• Lexical simplification (LS) ØNMT, PBSMT, LS Systemの3つを⽐較 3 seq2seq model を⽤いた⾃動平易化は⾏われていない
Neural Text Simplification Ø NTS • OpenNMT を利⽤ ØNTS-w2v •
Word EmbeddingをGoogle News Corpusを⽤いて事前 に学習 ØBeam Search • Beam sizeが5-12のそれぞれの場合に、候補を2つ⽣成 • BLEU, SARIにより最良なモデルを選択 4 Encoder: 原⽂ + Google News Corpus で学習 Decoder: 平易⽂ + Google News Corpus で学習
Dataset Ø Training data • English Wikipedia と Simple English
Wikipediaを対応付 けしたデータセット(EW-SEW dataset) • 適切に対応付いている280K⽂のみ利⽤ (150K full matches and 130K partial matches) • トークン数と固有表現 5
Dataset 6
Dataset Ø Tuning data and Test data • Amazon Mechanical
Turkによって得られた8つの参照 ⽂をもつデータセット 7 Tuning data: 2,000⽂ Test data: 70⽂
Evaluation Ø Human Evaluation • 70⽂を3⼈により評価に利⽤ − Correctness and Number
of Changes 句単位で「1つの変更」と数える − Grammaticality (G) and Meaning Preservation (M) 1 – 5の5段階でスコア付け 1: very bad 5: very good − Simplicity of sentences 平易化された度合いを -2 - +2の5段階で評価 -2: 参照⽂に⽐べ、より難しい⽂に変更されている +2: 参照⽂に⽐べ、より平易な⽂に変更されている 8
Result 9
Result 10
Conclusions Ø ニューラル機械翻訳を利⽤した平易化モデル の提案 Ø 既存のシステムよりも正確かつ平易に変換で きる Ø 「語彙平易化」と「内容の削減」を同時実⾏ 11
Result