intro_paper_07.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=47 MARUYAMA
July 17, 2017
55

 intro_paper_07.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=128

MARUYAMA

July 17, 2017
Tweet

Transcript

  1. Translating from Original to Simplified Sentences using Moses: When does

    it Actually Work? Stanja Štajner and Horacio Saggion, RANLP, pp. 611–617, 2015 B4 丸⼭ 拓海
  2. Introduction Ø機械翻訳(PB-SMT)を⽤いたテキスト平易化 Ø PB-SMTはどのような時、適切に平易化できるのか? • トレーニングデータの原⽂と平易⽂が類似している 場合にのみ有効 • 平易化のあらゆる操作を⾏う場合には、PB-SMTは適 していない

    2
  3. Related Works Ø Specia (2010) [1] • ブラジルポルトガル語 • Size:

    4,438⽂ • BLEU: 60.75 Ø Coster and Kauchak (2011) [2] • 英語 • Size: 137,000⽂ • BLEU: 59.87, 60.46 (Adding phrasal deletion) [仮説] データサイズではなく、⽂の性質が テキスト平易化の品質に影響する 3
  4. Methodology ØPB-SMT models : Moses ØDataset • EsSim (スペイン語) •

    PorSim (ブラジルポルトガル語) • Wiki (英語) 4
  5. Result and Discussion Ø Automatic Evaluation • Wiki, PorSim :

    関連研究と同等のBLEU • EsSim : Wiki, PorSimに⽐べるとBLEUが低い Translation Performances 5
  6. Result and Discussion Ø Automatic Evaluation • t-BLEU: BLEU score

    with brevity penalty (BP) • S-BLEU: Sentence-wise BLEU score Translation Performances Training datasets 6
  7. Result and Discussion Ø Error Analysis • 出⼒結果 (EsSim: 90⽂,

    PorSim:100⽂, Wiki:100⽂)を 変更⽅法ごとに⼈⼿で分類 7
  8. Result and Discussion Ø Error Analysis • Spanish 8 システムによって、原⽂の意味が失われる場合がある

    (s1) ⼈間が⾏わない語の置換に対しても変換を⾏うことがある (s2, s3)
  9. Result and Discussion Ø Error Analysis • English 9 単語置換と⽂分割が正しく適⽤されると、⽂の本来の意味と⽂法が保持され、

    わずかに単純な出⼒につながる。 誤って適⽤された1つか2つの単語変換は、⽂の意味を変更するだけで、 ⽂の⽂法性を損なうことはない。
  10. Result and Discussion Ø Distribution of S-BLEU Scores • Wikiには、S-BLEUが0.5より⾼い⽂が多く含まれる

    • EsSimには、S-BLEUが0.3よりも低い⽂が多く含まれる 10
  11. Conclusions Ø 3つのデータセットを⽤いて、Mosesにおける平易化の 成功と失敗の原因を特定 Øトレーニングデータの原⽂と平易⽂が類似している場 合にのみ有効 Øあらゆる平易化の操作を⾏う場合に、Mosesは効果的で はない 11

  12. References [1] Lucia Specia. 2010. Translating from complex to simplified

    sentences. In Proceedings of the 9th international conference on Computational Processing of the Portuguese Language, pages 30–39, Berlin, Heidelberg. [2] William Coster and David Kauchak. 2011. Learning to Simplify Sentences Using Wikipedia. In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pages 1–9 12