Systematically Adapting Machine Translation for Grammatical Error Correction

文献紹介（2018-03-27）
長岡技術科学大学
自然言語処理研究室

Transcript

1. Systematically Adapting Machine Translation for Grammatical Error Correction Courtney Napoles and Chris Callison-Burch Proceedings of the 12th Workshop on Innovative Use of NLP for Building Educational Applications, pages 345–356, 2017 文献紹介（2018/03/27） 長岡技術科学大学 自然言語処理研究室 小川 耀一朗 1
2. 概要 l 英語学習者作⽂の⽂法誤り訂正⼿法を提案 l 統計的機械翻訳(SMT)を⽂法誤り訂正に適⽤ l 少ない訓練データにおいて最⾼性能のモデルに匹敵する 性能を⽰した 2
3. 誤り訂正のアプローチ ルールベース(rule-based system) 誤りタイプの分類器(classifiers targeting specific error types) 統計的機械翻訳(statistical machine translation) ニューラル機械翻訳(neural machine translation) 3 ࠷ઌ୺ (Yuan and Briscoe, 2016)
4. 提案手法: SMEC l ⽂法誤り訂正に適した処理をSMTと組み合わせる uスペルミス訂正ルールを追加 u訂正操作のスコア素性 u⽂法誤り訂正の適した評価指標でチューニング を適⽤ 4
5. 提案手法: SMEC uスペルミス訂正ルール *1 u名詞の単数形・複数形の変換*2（singular ⇆ plural） u動詞の基本形、3⼈称単数形、過去形、過去分詞形、進⾏ 形の変換*2（wake, wakes, woke, woken, waking） *1: PyEnchantを使⽤ *2: RASPʼs morphological generator, morphg (Minnen et al., 2001) を使⽤ 5
6. 提案手法: SMEC u訂正操作のスコアを素性 に⽤いる uSMTの最適化 Ø BLEUではなくGLEU 6
7. 実験設定 l SMT: hierarchical phase-based translation model with Thrax (Weese et al., 2011) l 訓練データ：Lang-8 corpus(1000kペア) l 開発データ：JFLEG tuning set(751ペア) l テストデータ：JFLEG test set(747ペア) l ⾔語モデル：English Gigaword 5-gram LM 7
8. 訂正実験の結果 • Sp. Baseline: スペルミス訂正モデル • MT baseline: 特別な素性を⽤いずにBLUEで最適化 • YB16: 最⾼性能のNMTモデル(CLC corpus: 2000kペア) Ø 最⾼性能と同じくらいの性能を⽰す 8
9. コンポーネントの比較 • SMEC –GLEU： BLEUでSMTを最適化 • SMEC –feats：特別な素性を⽤いない • SMEC –sp：スペルミス訂正ルールを⽤いない Ø スペル訂正による効果が⼤きい 9
10. まとめ n 統計的機械翻訳(SMT)を⽂法誤り訂正に適⽤ l スペル訂正ルールの追加 l 訂正操作のスコア素性 l GLEUによるSMTの最適化 を適⽤ n 半分の訓練データで、最⾼性能モデルの性能に達した 10