intro_paper_5.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=47 MARUYAMA
May 22, 2017
60

 intro_paper_5.pdf

A3ea3bc5dde6ae2dd6eae71da9c418b0?s=128

MARUYAMA

May 22, 2017
Tweet

Transcript

  1. 1 1 Optimizing Statistical Machine Translation for Text Simplification Wei

    Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen and Chris Callison-Burch TACL, vol. 4, pp. 401–415, 2016 自然言語処理研究室 B4 丸山 拓海
  2. 2 2 概要 • SMTを平易化に対して最適化 – 文平易化の自動評価尺度 – 人手によって作られた小規模な平易化コーパス –

    大規模コーパスから獲得した換言ルール • 人間の評価と相関を持つ平易化の自動評価尺度を提案 • 大規模な換言ルールを用いた平易化
  3. 3 3 背景 • Parallel Wikipedia simplification corpusは適切な平易化を 行うには不十分, 不正確

    [1] • 平易化の操作が複雑であるために、モデル間を比較する ことが難しい • コーパスの品質の改善 • 人間の評価と相関のある自動評価尺度
  4. 4 4 平易化への適応 • 平易化の目的関数 – FKBLEU – SARI •

    大規模な換言ルール • 小規模な平易化コーパス
  5. 5 5 平易化の目的関数 • FKBLEU – iBLEU: 妥当性の指標 – FK:

    可読性の指標 I: Input text, O: Candidate sentence, R: Human reference
  6. 6 6 平易化の目的関数 • SARI (System output Against References and

    against the Input sentence) – 平易化の操作におけるn-gramのF値(add, keep)と適合率(del)
  7. 7 7 大規模な換言ルール • PPDB (Paraphrase database)[2] – 2.2億対の平易化ルール

  8. 8 8 小規模な平易化コーパス • クラウドソーシング – Amazon Mechanical Turk –

    Normal Wikipedia から選択された文を平易な文に 書き換えるよう8人に依頼 – 2350文に対して、8つの参照文を収集 (Tuning: 2000文, Evaluation: 350文)
  9. 9 9 実験結果 • 人間による評価 – Grammar, Meaning : 5段階評価(0

    〜 4) – Simplicity+ : 語彙的、構文的な換言が成功しているかの数 – 評価者5人の平均をスコアとする
  10. 10 10 実験結果 • 人間による評価 – Grammar, Meaning : 5段階評価(0

    〜 4) – Simplicity+ : 語彙的、構文的な換言が成功しているかの数 – 評価者5人の平均をスコアとする
  11. 11 11 実験結果 • 自動評価

  12. 12 12 実験結果 • 自動評価

  13. 13 13 実験結果 • 自動評価

  14. 14 14 実験結果 • 自動評価と人間による評価の相関

  15. 15 15 まとめ • 平易化システム(SMT) の最適化 – 大規模コーパスから獲得した換言ルール – 人手によって作られた小規模な平易化コーパス

    – 文平易化の自動評価尺度 • 人間の評価と相関を持ち、平易化の特性を捉えた自動評価尺 度( SARI)の提案 • SARIに基づいて、SMTを最適化することで既存手法を上回る システムを実現
  16. 16 16 参考文献 [1] Xu, W., Callison-Burch, C., and Napoles,

    C. (2015). Problems in current text simplification research: New data can help. Transactions of the As- sociation for Computational Linguistics (TACL), 3:283–297. [2] Ganitkevitch, J., Van Durme, B., and Callison- Burch, C. (2013). PPDB: The paraphrase database. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL).
  17. 17 17 実験結果 • BLEUとSARIの人間による評価との相関 BLEU SARI Grammar Meaning Simplicity