Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data

66cc992074ab4522374e429c11fef225?s=47 youichiro
April 15, 2019

Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data

長岡技術科学大学
自然言語処理研究室
文献紹介(2019-04-17)
Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data
https://arxiv.org/pdf/1903.00138.pdf

66cc992074ab4522374e429c11fef225?s=128

youichiro

April 15, 2019
Tweet

Transcript

  1. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with

    Unlabeled Data Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, Jingming Liu arXiv:1903.00138 (Accepted by NAACL 2019) 長岡技術科学大学 自然言語処理研究室 小川耀一朗 文献紹介(2019-04-17) 1
  2. Abstract 方向性 • Copy mechanism をGECに応用することで,変更しなくていい単語 およびOOVをそのまま出力するようにする +α • Denoising

    auto-encoder を使ってCopyNet を事前学習 • Token-level と Sentence-level の Multi-task learning 結果 • CoNLL-2014 test set において state-of-the-art を達成した 2
  3. GECではTranslationとは違い,ほとんどの単語がコピーされる 変更しない単語やOOVをそのままコピーする機構が必要 Introduction 3

  4. Copy Mechanism (CopyNet) 4

  5. Copy Mechanism (CopyNet) 入力単語をコピーする確率の分布 5

  6. Copy Mechanism (CopyNet) Decoderの予測分布とmixする 6

  7. Denoising auto-encoders CopyNetにより単語をコピーすることを覚えさせたい 正しい文にノイズを加え,それを復元させる CopyNet を事前学習 ノイズの加え方: ◦ 10%の確率で単語を[削除,挿入,置換] ◦

    正規分布に従って単語をシャッフル 7
  8. ◾ Token-level Labeling Task 単語の予測ごとに,正しいか間違っているかを学習させる ◾ Sentence-level Copying Task 正しい文が入力された時,DecoderのAttentionを無くす

    Attentionの無い予測は難しい → よりコピーすることを学習させる Multi-Task Learning 8
  9. Training and Evaluation Corpus 9

  10. Experimental Results 10

  11. Comparison Results 11

  12. Conclusion • Copy mechanismを応用することで,ほとんどの単語が変 化しないというGECの特徴を考慮した訂正を行なった • Denoising auto-encoderによるモデルの事前学習 ,Multi-task learningによってスコアの向上を確認した

    12
  13. 13

  14. Recall on Different Error Types 14 明確な/機械的な誤りはスコアが 高いが,主観的な/文化的な誤り はまだ人間とのギャップが大き い

  15. Attention Visualization 15 Generationする時は長距離の情報を捉えようとしている