intro_paper_07.pdf

Transcript

1. Translating from Original to Simplified Sentences using Moses: When does it Actually Work? Stanja Štajner and Horacio Saggion, RANLP, pp. 611–617, 2015 B4 丸⼭ 拓海
2. Introduction Ø機械翻訳(PB-SMT)を⽤いたテキスト平易化 Ø PB-SMTはどのような時、適切に平易化できるのか？ • トレーニングデータの原⽂と平易⽂が類似している 場合にのみ有効 • 平易化のあらゆる操作を⾏う場合には、PB-SMTは適 していない 2
3. Related Works Ø Specia (2010) [1] • ブラジルポルトガル語 • Size: 4,438⽂ • BLEU: 60.75 Ø Coster and Kauchak (2011) [2] • 英語 • Size: 137,000⽂ • BLEU: 59.87, 60.46 (Adding phrasal deletion) [仮説] データサイズではなく、⽂の性質が テキスト平易化の品質に影響する 3
4. Methodology ØPB-SMT models : Moses ØDataset • EsSim (スペイン語) • PorSim (ブラジルポルトガル語) • Wiki (英語) 4
5. Result and Discussion Ø Automatic Evaluation • Wiki, PorSim : 関連研究と同等のBLEU • EsSim : Wiki, PorSimに⽐べるとBLEUが低い Translation Performances 5
6. Result and Discussion Ø Automatic Evaluation • t-BLEU: BLEU score with brevity penalty (BP) • S-BLEU: Sentence-wise BLEU score Translation Performances Training datasets 6
7. Result and Discussion Ø Error Analysis • 出⼒結果 (EsSim: 90⽂, PorSim:100⽂, Wiki:100⽂)を 変更⽅法ごとに⼈⼿で分類 7
8. Result and Discussion Ø Error Analysis • Spanish 8 システムによって、原⽂の意味が失われる場合がある (s1) ⼈間が⾏わない語の置換に対しても変換を⾏うことがある (s2, s3)
9. Result and Discussion Ø Error Analysis • English 9 単語置換と⽂分割が正しく適⽤されると、⽂の本来の意味と⽂法が保持され、 わずかに単純な出⼒につながる。 誤って適⽤された1つか2つの単語変換は、⽂の意味を変更するだけで、 ⽂の⽂法性を損なうことはない。
10. Result and Discussion Ø Distribution of S-BLEU Scores • Wikiには、S-BLEUが0.5より⾼い⽂が多く含まれる • EsSimには、S-BLEUが0.3よりも低い⽂が多く含まれる 10
11. Conclusions Ø 3つのデータセットを⽤いて、Mosesにおける平易化の 成功と失敗の原因を特定 Øトレーニングデータの原⽂と平易⽂が類似している場 合にのみ有効 Øあらゆる平易化の操作を⾏う場合に、Mosesは効果的で はない 11
12. References [1] Lucia Specia. 2010. Translating from complex to simplified sentences. In Proceedings of the 9th international conference on Computational Processing of the Portuguese Language, pages 30–39, Berlin, Heidelberg. [2] William Coster and David Kauchak. 2011. Learning to Simplify Sentences Using Wikipedia. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pages 1–9 12