Grammatical Error Correction with Neural Reinforcement Learning Keisuke Sakaguchi, Matta Post and Benjamin Van Durme Proceedings of the 8th International Joint Conference on Natural Language Processing, pages 366-372, 2017 ⽂献紹介（2018-06-06） ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1 

Abstract l 強化学習を⽤いたニューラルエンコーダ・デコーダモデル l ⽂レベルの最適化が可能 l ⾃動評価・⼈⼿評価において⾼い性能を⽰す 2 

Introduction l GEC(Grammatical Error Correction)タスクの動向 Ø token-level → phrase-level → sentence-level l sentence-level: 流暢性を考慮 Ø ⽂脈による単語選択、コロケーション、単語の並び順 など l 流暢性を考慮したモデル：PBMT, neural encoder- decoder models 3 

Introduction l encode-decoder の最適化に maximum likelihood estimation(MLE)が⽤いられてきた l MLEの⽋点 Ø ある時点で間違った単語を予測すると、それ以降の単語 にも影響を与えてしまう 4 

Maximum Likelihood Estimation 5 l 各時刻で単語の予測を最適化する l ⽂全体の評価はしない " # $ % " # $ % " # $ encoder decoder : Y: encoder-decoder model objective 

Neural Reinforcement Leaning l 報酬を最⼤化するようにNRLのパラメータを学習→強化学習 6 (ŷ| ; ): 予測単語列の確率 (ŷ, ): 正解(y)に対する予測(ŷ)の報酬 objective 

Reward in GEC: GLEU l 原⽂(S), 出⼒(H), 正解(R)からN-gram適合率を計算する l N(A, B): AとBのN-gramの重複数 l BP(brevity penalty): 出⼒の⻑さ(h)と正解の⻑さ(r)で決まる 7 

Experiments データセット 8 モデル 

Results l ランダムに200⽂を選択して2⼈のワーカーが評価 l TrueSkill algorithm(Herbrich et al., 2006; Sakaguchi et al., 2014)を 使って評価スコアを計算 l ⼈⼿評価とGLEUに相関あり 9 

Results 10 

Conclusions l 強化学習を⽤いたニューラルエンコーダデコーダモデル l MLEの問題である単語レベルの評価に対して、GLEUを⽤い て⽂レベルの最適化に取り組んだ l ⼈⼿評価・⾃動評価において提案⼿法が優れた性能を⽰し た 11 

Extra Ø a 12