intro_paper_5.pdf

Transcript

1. 1 1 Optimizing Statistical Machine Translation for Text Simplification Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen and Chris Callison-Burch TACL, vol. 4, pp. 401–415, 2016 自然言語処理研究室 B4 丸山 拓海
2. 2 2 概要 • SMTを平易化に対して最適化 – 文平易化の自動評価尺度 – 人手によって作られた小規模な平易化コーパス – 大規模コーパスから獲得した換言ルール • 人間の評価と相関を持つ平易化の自動評価尺度を提案 • 大規模な換言ルールを用いた平易化
3. 3 3 背景 • Parallel Wikipedia simplification corpusは適切な平易化を 行うには不十分, 不正確 [1] • 平易化の操作が複雑であるために、モデル間を比較する ことが難しい • コーパスの品質の改善 • 人間の評価と相関のある自動評価尺度
4. 4 4 平易化への適応 • 平易化の目的関数 – FKBLEU – SARI • 大規模な換言ルール • 小規模な平易化コーパス
5. 5 5 平易化の目的関数 • FKBLEU – iBLEU: 妥当性の指標 – FK: 可読性の指標 I: Input text, O: Candidate sentence, R: Human reference
6. 6 6 平易化の目的関数 • SARI (System output Against References and against the Input sentence) – 平易化の操作におけるn-gramのF値(add, keep)と適合率(del)
7. 7 7 大規模な換言ルール • PPDB (Paraphrase database)[2] – 2.2億対の平易化ルール
8. 8 8 小規模な平易化コーパス • クラウドソーシング – Amazon Mechanical Turk – Normal Wikipedia から選択された文を平易な文に 書き換えるよう8人に依頼 – 2350文に対して、8つの参照文を収集 （Tuning: 2000文, Evaluation: 350文)
9. 9 9 実験結果 • 人間による評価 – Grammar, Meaning : 5段階評価(0 〜 4) – Simplicity+ : 語彙的、構文的な換言が成功しているかの数 – 評価者5人の平均をスコアとする
10. 10 10 実験結果 • 人間による評価 – Grammar, Meaning : 5段階評価(0 〜 4) – Simplicity+ : 語彙的、構文的な換言が成功しているかの数 – 評価者5人の平均をスコアとする
11. 11 11 実験結果 • 自動評価
12. 12 12 実験結果 • 自動評価
13. 13 13 実験結果 • 自動評価
14. 14 14 実験結果 • 自動評価と人間による評価の相関
15. 15 15 まとめ • 平易化システム(SMT) の最適化 – 大規模コーパスから獲得した換言ルール – 人手によって作られた小規模な平易化コーパス – 文平易化の自動評価尺度 • 人間の評価と相関を持ち、平易化の特性を捉えた自動評価尺 度( SARI)の提案 • SARIに基づいて、SMTを最適化することで既存手法を上回る システムを実現
16. 16 16 参考文献 [1] Xu, W., Callison-Burch, C., and Napoles, C. (2015). Problems in current text simplification research: New data can help. Transactions of the As- sociation for Computational Linguistics (TACL), 3:283–297. [2] Ganitkevitch, J., Van Durme, B., and Callison- Burch, C. (2013). PPDB: The paraphrase database. In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL).
17. 17 17 実験結果 • BLEUとSARIの人間による評価との相関 BLEU SARI Grammar Meaning Simplicity