Grammatical Error Correction with Neural Reinforcement Learning

長岡技術科学大学
自然言語処理研究室
文献紹介（2018-06-06）

Transcript

1. Grammatical Error Correction with
   Neural Reinforcement Learning
   Keisuke Sakaguchi, Matta Post and Benjamin Van Durme
   Proceedings of the 8th International Joint Conference on Natural Language
   Processing, pages 366-372, 2017
   ⽂献紹介（2018-06-06）
   ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗
   1
   

   View Slide

2. Abstract
   l 強化学習を⽤いたニューラルエンコーダ・デコーダモデル
   l ⽂レベルの最適化が可能
   l ⾃動評価・⼈⼿評価において⾼い性能を⽰す
   2
   

   View Slide

3. Introduction
   l GEC(Grammatical Error Correction)タスクの動向
   Ø token-level → phrase-level → sentence-level
   l sentence-level: 流暢性を考慮
   Ø ⽂脈による単語選択、コロケーション、単語の並び順
   など
   l 流暢性を考慮したモデル：PBMT, neural encoder-
   decoder models
   3
   

   View Slide

4. Introduction
   l encode-decoder の最適化に maximum likelihood
   estimation(MLE)が⽤いられてきた
   l MLEの⽋点
   Ø ある時点で間違った単語を予測すると、それ以降の単語
   にも影響を与えてしまう
   4
   

   View Slide

5. Maximum Likelihood Estimation
   5
   l 各時刻で単語の予測を最適化する
   l ⽂全体の評価はしない
   " # $ %
   "
   #
   $
   %
   "
   #
   $
   encoder
   decoder
   :
   Y:
   encoder-decoder model
   objective
   

   View Slide

6. Neural Reinforcement Leaning
   l 報酬を最⼤化するようにNRLのパラメータを学習→強化学習
   6
   (ŷ| ; ): 予測単語列の確率
   (ŷ, ): 正解(y)に対する予測(ŷ)の報酬
   objective
   

   View Slide

7. Reward in GEC: GLEU
   l 原⽂(S), 出⼒(H), 正解(R)からN-gram適合率を計算する
   l N(A, B): AとBのN-gramの重複数
   l BP(brevity penalty): 出⼒の⻑さ(h)と正解の⻑さ(r)で決まる
   7
   

   View Slide

8. Experiments
   データセット
   8
   モデル
   

   View Slide

9. Results
   l ランダムに200⽂を選択して2⼈のワーカーが評価
   l TrueSkill algorithm(Herbrich et al., 2006; Sakaguchi et al., 2014)を
   使って評価スコアを計算
   l ⼈⼿評価とGLEUに相関あり
   9
   

   View Slide

10. Results
    10
    

    View Slide

11. Conclusions
    l 強化学習を⽤いたニューラルエンコーダデコーダモデル
    l MLEの問題である単語レベルの評価に対して、GLEUを⽤い
    て⽂レベルの最適化に取り組んだ
    l ⼈⼿評価・⾃動評価において提案⼿法が優れた性能を⽰し
    た
    11
    

    View Slide

12. Extra
    Ø a
    12
    

    View Slide