Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Grammatical Error Correction with Neural Reinforcement Learning

Grammatical Error Correction with Neural Reinforcement Learning

長岡技術科学大学
自然言語処理研究室
文献紹介(2018-06-06)

youichiro

June 05, 2018
Tweet

More Decks by youichiro

Other Decks in Technology

Transcript

  1. Grammatical Error Correction with
    Neural Reinforcement Learning
    Keisuke Sakaguchi, Matta Post and Benjamin Van Durme
    Proceedings of the 8th International Joint Conference on Natural Language
    Processing, pages 366-372, 2017
    ⽂献紹介(2018-06-06)
    ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗
    1

    View Slide

  2. Abstract
    l 強化学習を⽤いたニューラルエンコーダ・デコーダモデル
    l ⽂レベルの最適化が可能
    l ⾃動評価・⼈⼿評価において⾼い性能を⽰す
    2

    View Slide

  3. Introduction
    l GEC(Grammatical Error Correction)タスクの動向
    Ø token-level → phrase-level → sentence-level
    l sentence-level: 流暢性を考慮
    Ø ⽂脈による単語選択、コロケーション、単語の並び順
    など
    l 流暢性を考慮したモデル:PBMT, neural encoder-
    decoder models
    3

    View Slide

  4. Introduction
    l encode-decoder の最適化に maximum likelihood
    estimation(MLE)が⽤いられてきた
    l MLEの⽋点
    Ø ある時点で間違った単語を予測すると、それ以降の単語
    にも影響を与えてしまう
    4

    View Slide

  5. Maximum Likelihood Estimation
    5
    l 各時刻で単語の予測を最適化する
    l ⽂全体の評価はしない
    " # $ %
    "
    #
    $
    %
    "
    #
    $
    encoder
    decoder
    :
    Y:
    encoder-decoder model
    objective

    View Slide

  6. Neural Reinforcement Leaning
    l 報酬を最⼤化するようにNRLのパラメータを学習→強化学習
    6
    (ŷ| ; ): 予測単語列の確率
    (ŷ, ): 正解(y)に対する予測(ŷ)の報酬
    objective

    View Slide

  7. Reward in GEC: GLEU
    l 原⽂(S), 出⼒(H), 正解(R)からN-gram適合率を計算する
    l N(A, B): AとBのN-gramの重複数
    l BP(brevity penalty): 出⼒の⻑さ(h)と正解の⻑さ(r)で決まる
    7

    View Slide

  8. Experiments
    データセット
    8
    モデル

    View Slide

  9. Results
    l ランダムに200⽂を選択して2⼈のワーカーが評価
    l TrueSkill algorithm(Herbrich et al., 2006; Sakaguchi et al., 2014)を
    使って評価スコアを計算
    l ⼈⼿評価とGLEUに相関あり
    9

    View Slide

  10. Results
    10

    View Slide

  11. Conclusions
    l 強化学習を⽤いたニューラルエンコーダデコーダモデル
    l MLEの問題である単語レベルの評価に対して、GLEUを⽤い
    て⽂レベルの最適化に取り組んだ
    l ⼈⼿評価・⾃動評価において提案⼿法が優れた性能を⽰し

    11

    View Slide

  12. Extra
    Ø a
    12

    View Slide