intro-paper-06.pdf

Transcript

1. Automatic Text Simplification for Spanish: Comparative Evaluation of Various Simplification Strategies Sanja Štajner and Iacer Calixto and Horacio Saggion Proceedings of Recent Advances in Natural Language Processing, pages 618–626, 2015 B4 丸山 拓海
2. 1. Introduction Øスペイン語の⾃動平易化 Ø統計的機械翻訳によるアプローチを検討 • Phrase-based SMT (PB-SMT) • Hierarchical SMT (HIERO) Ø使⽤コーパス • Heavy • Light 2
3. 1. Introduction 1. 小規模な平易化コーパスを使用した場合, PB-SMTとHIEROモデルはどれだけうまく動作するか？ 2. PB-SMTと HIEROの結果は異なるか？ 3. Simplextと比較して、SMTベースのシステムはどう機能するか？ Simplext: state-of-the-art text simplification system for Spanish Ø⼩規模なデータセットでも、SMTベースのシス テムがSimplext よりも優れていることを⽰した Ø本論⽂の貢献 3
4. 2.Related work ØSimplext • ルールベースによる構⽂及び語彙の平易化 • 同義語に基づく語彙の平易化 • ⼈間による評価では、 「⽂法」、「意味保持性」、「平易さ」において、 コーパスに基づく平易化と同等なスコアを実現する 4
5. 3.1 Text simplification corpus ØHeavy • Simplext projectのもとで構築された平易化コーパス • 詳細なガイドライン(28のルール)に従って、ニュー ス記事を⼿作業で平易化したもの ØLight 5
6. ØHeavy ØLight [1] • 様々なテキスト(Heavyに存在するものを含む)を ６つの平易化ルールにしたがって、⼈⼿で平易に書 き換えたもの [ 平易化規則 ] ・ 頻度の高い単語(1000語)を使用を推奨する ・ 冗長性のある単語を削除する ・ より簡単な言い換えを使用する etc. 6 3.1 Text simplification corpus
7. ØPhrase-based SMT (PB-SMT) ØHierarchical SMT 7 3.2 SMT Models
8. 3.3 Evaluation Ø⾃動評価 BLEU • S-BLEU: ⽂単位のBLEU • BLEU: ⽂書単位のBLEU Ø⼈による評価 : 13⼈の評価者に5段階(1〜5)で評価 Grammar (G) Meaning preservation (M) Simplicity (S) 8
9. 4.1 Automatic evaluation ØBaseline : ⼊⼒⽂を変更しないシステム 9
10. 4.1 Automatic evaluation ØBaseline : ⼊⼒⽂を変更しないシステム 10
11. 4.2 Human evaluation 11
12. 4.2 Human evaluation 12
13. 5. Comparison with the State of the Art 13
14. 6. Conclusions ØPBとHIEROが同じコーパスを使⽤して構築され ている場合、同様の性能を達成する ØLight コーパスを⽤いた⽅が、Heavyコーパスを ⽤いるよりも適切に平易化を⾏うことができる ØLightコーパスを使⽤して構築されたSMTベース のモデルは、Simplextに⽐べ、⽂法的かつ意味 を保持した出⼒が得られる 14
15. Reference 15 [1] R. Mitkov and S. Štajner, “The Fewer, the Better? A Contrastive Study about Ways to Simplify,” Proc. Work. Automatic. Text Simplification: Methods Application. Multilingual Society., pp. 30–40, 2014.