Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Noising and Denoising Natural Language: Diverse...
Search
youichiro
August 23, 2018
Technology
0
210
Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction
長岡技術科学大学
自然言語処理研究室
文献紹介 (2018-08-23)
youichiro
August 23, 2018
Tweet
Share
More Decks by youichiro
See All by youichiro
日本語文法誤り訂正における誤り傾向を考慮した擬似誤り生成
youichiro
0
1.5k
分類モデルを用いた日本語学習者の格助詞誤り訂正
youichiro
0
98
Multi-Agent Dual Learning
youichiro
1
170
Automated Essay Scoring with Discourse-Aware Neural Models
youichiro
0
120
Context is Key- Grammatical Error Detection with Contextual Word Representations
youichiro
1
140
勉強勉強会
youichiro
0
87
Confusionset-guided Pointer Networks for Chinese Spelling Check
youichiro
0
190
A Neural Grammatical Error Correction System Built On Better Pre-training and Sequential Transfer Learning
youichiro
0
170
An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction
youichiro
0
200
Other Decks in Technology
See All in Technology
7月のガバクラ利用料が高かったので調べてみた
techniczna
3
590
Goでマークダウンの独自記法を実装する
lag129
0
220
Android Studio の 新しいAI機能を試してみよう / Try out the new AI features in Android Studio
yanzm
0
280
トヨタ生産方式(TPS)入門
recruitengineers
PRO
4
460
[CVPR2025論文読み会] Linguistics-aware Masked Image Modelingfor Self-supervised Scene Text Recognition
s_aiueo32
0
210
Backboneとしてのtimm2025
yu4u
4
1.6k
自社製CMSからmicroCMSへのリプレースがプロダクトグロースを加速させた話
nextbeatdev
0
150
LLMエージェント時代に適応した開発フロー
hiragram
1
420
人を動かすことについて考える
ichimichi
2
330
モダンフロントエンド 開発研修
recruitengineers
PRO
4
1k
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
1
2.4k
実践データベース設計 ①データベース設計概論
recruitengineers
PRO
4
540
Featured
See All Featured
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
780
Testing 201, or: Great Expectations
jmmastey
45
7.6k
The Art of Programming - Codeland 2020
erikaheidi
55
13k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Embracing the Ebb and Flow
colly
87
4.8k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Being A Developer After 40
akosma
90
590k
It's Worth the Effort
3n
187
28k
A Tale of Four Properties
chriscoyier
160
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Transcript
Noising and Denoising Natural Language: Diverse Backtranslation for Grammar Correction
Ziang Xie, Guillaume Genthial, Stanley Xie, Andrew Y. Ng, Dan Jurafsky Proceedings of NAACL-HLT 2018, pages 619–628, 2018 ⽂献紹介(2018-08-23) ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川 耀⼀朗 1
Introduction l 機械翻訳ベースの⽂法誤り訂正(GEC)アプローチでは、学習者の誤り⽂ と正しい⽂の⼤規模なパラレルコーパスが必要になることがボトルネッ クとなっている Ø 正しい⽂にノイズを加えて誤り⽂を⽣成し、学習者作⽂データの不⾜を 補う⼿法を提案 l 単純な⽅法はトークンの削除や置換を⾏うことだが、⾮現実的なノイズ
を⽣成してしまう Ø 提案⼿法では、encoder-decoderとbeam searchを組み合わせて多様 な誤り⽂を⽣成する 2
Method 3 正しい⽂から誤り⽂を⽣成 Noising model seed corpus(学習者コーパス) から正しい⽂→誤り⽂ を学習 Denoising
model 誤り⽂から正しい⽂を⽣成 (back-translation)
Model 4 l convolutional encoder-decoder model l Noising と Denoising
の両⽅でこのモデルを使⽤
Noising 正しい⽂から誤り⽂を⽣成する⽅法 ベースライン l appending clean examples Ø ノイズを加えず正しい⽂のまま使う l
token noising Ø ⽂字/単語の削除・置換をランダムに発⽣させる l reverse noising Ø 学習させたNoising modelの出⼒を使う 5
Noising 正しい⽂から誤り⽂を⽣成する⽅法 提案⼿法: Noisy modelのデコードでbeam searchする時にノイズを加える l rank penalty noising
Ø 各候補に対して#$%& のペナルティを加える Ø は対数尤度の⼤きい順ランキング、#$%& はハイパーパラメータ l top penalty noising Ø スコアの最も⾼い候補にだけ'() のペナルティを加える l random noising Ø 各候補に対して#$%+(, のペナルティを加える Ø は[0,1]からランダムに選ばれる 6 ノイズ
Denoising 誤り⽂から正しい⽂を⽣成する l beam searchの各候補のスコアを計算する際、⾔語モデル確率をスコ アに加える ./ ℎ = ℎ
+ log ./ ℎ h: 候補, λ: ハイパーパラメータ, s(): スコア関数, pLM : ⾔語モデル確率 l ⾔語モデル: 5-gram LM trained on Common Crawl corpus with KenLM 7
Training data 8 実験する訓練データ base(1.0M) : 学習者コーパス synthesized(1.0M) : 単⾔語コーパスにノイズを与えたデータ
⽐較対象の訓練データ expanded(3.3M) : 学習者コーパス
Result1 CoNLL 2013 dev and CoNLL 2014 test set 9
Result2 JFLEG test set 10
Result3 11 l 実学習者⽂と⽣成した誤り⽂を表⽰し、どちらが⽣成⽂かの2択問題を ⼈⼿評価 (誤答率)
Conclusion l GECタスクでは⼤量の学習者コーパスが必要となるが、本論⽂では Noising model、Denoising modelを⽤いて正しい⽂から誤り⽂を⽣成 する⼿法を提案し、学習者コーパスの不⾜を補った l ⽣成された誤り⽂と学習者⽂を⽐較し、⼈が⾒⽐べても区別が難しいこ とがわかった
l 実験では、⽣成したデータを加えて訓練した結果が、⼤規模な実学習者 コーパスで訓練した結果と同程度の性能を⽰した 12
13
Examples of nonsynthesized and synthesized sentences 14
Back-translation 15 Style Transfer Through Back-Translation Shrimai Prabhumoye, Yulia Tsvetkov,
Ruslan Salakhutdinov, Alan W Black 2018, ACL, pages 866–876. Figure 1
Beam search 16 https://distill.pub/2017/ctc/から引⽤
Others 17