Neural Grammatical Error Correction with Finite State Transducers

長岡技術科学大学
自然言語処理研究室
文献紹介（2019-05-15）
Neural Grammatical Error Correction with Finite State Transducers
https://arxiv.org/abs/1903.10625

Transcript

1. Neural Grammatical Error Correction with Finite State Transducers Felix Stahlberg and Christopher Bryant and Bill Byrne arXiv:1903.10625 (Accepted by NAACL 2019) 長岡技術科学大学 自然言語処理研究室 小川耀一朗 文献紹介（2019-05-15） 1
2. Abstract • Finite state transducer (FST) を文法誤り訂正に適用する手法を提案 • 学習者コーパスを使用しない方法 (Unsupervised) と，学習者コーパスを 使用する方法 (Supervised) にて有効性を示した． 2
3. Introduction • 文法誤り訂正(GEC)タスクでは Neural machine translation (NMT) が高 い性能を示しているが，予測空間は広大である． • しかしこのタスクは，局所的で語彙的な訂正を行う問題であり，強い制約 のある問題であるはずだ． • Finite state transducer (FST) を用いてNMTの予測空間を制限する． 3
4. Finite state acceptor ◼ 有限状態アクセプタ (Finite state acceptor: FSA) ある特定の記号列を受理するか否かを表すモデル 4 入力が“ab”か“ba”のとき受理するFSA
5. Finite state transducer ◼ 有限状態トランスデューサ (Finite state transducer: FST) FSAの拡張として，状態遷移において記号を受理すると同時に別の記号を出力す るモデル 5 入力“ab”に対して“AB”を，“ba”に対して“BA”を出力するFST
6. Weighted finite state transducer ◼ 重み付き有限状態トランスデューサ (Weighted finite state transducer: WFST) 状態遷移に対して重みを付与することで，コストや確率といった概念の導入を可能 にしたモデル 6 入力“ab”に対しては“AB”と重み4.0(=0.5+1.0+3.0)を出力する
7. Example FST ◼ 単語発音辞書を表すFST 7 音素列“aoaka”をその発音に対応する単語列”青赤”に変換する ε記号：入力信号の場合→入力なしで状態遷移できる 　　　　出力記号の場合→何も出力しないことを表す
8. Example FST ◼ 言語モデルを表すFST 8
9. FST composition 9 • 変換過程の合成 (composition) が可能
10. Constructing the Hypothesis Space 提案手法：予測空間 H をFSTによって構築する 　→ H を使って Neural beam decoder に制約を与える H を構築するために5つのtransducerが登場 (1) I：Input lattice (2) E：Edit transducer (3) P：Penalization transducer (4) L：Language model transducer (5) T：Tokenization words to subwords (BPE) transducer 10
11. (1) I : 入力単語列にそのまま変換する遷移 (2) E: (Bryant and Briscoe 2018) が提案したconfusion sets を表す遷移 Unsupervised FST method 11 (3) P: <corr>をペナルティ(λcorr)に変換する遷移 (4) L: 5-gram LM を表す遷移 way ↓ <corr> ways
12. NMTに適用させるために，単語からサブワード(BPE)に変換する遷移 T を合成 Unsupervised FST method 12 ↑ 予測空間
13. Supervised FST method 13 I : 訓練させたSMTの n-best list の遷移 SMT出力の編集距離の数だけ <mcorr>を追加 ↑ 予測空間
14. NLMとNMTを加えたスコアを使ってビームサーチを行う もしHBPEにない単語列が入力されたら Beam search 14
15. • Language models ◦ 5-gram LM: KenLM ◦ Neural LM: Transformer decoder architecture ◦ Dataset: One Billion Word Benchmark dataset • Seq2seq models ◦ SMT: (Junczys-Dowmunt and Grundkiewicz 2016) ◦ NMT: Transformer ◦ Datasets: NUCLE, Lang-8 • NMT, NLMはbyte pair encoding(BPE)を使用 • Beam size: 12 Experimental setup 15
16. ➔ Language model basedの先行研究を上回る Results (unsupervised) 16
17. ➔ CoNLL-2014において最高性能を上回る Results (Supervised) 17
18. • Finite state transducer(FST) を文法誤り訂正に応用し，予測空間を制限する手 法を提案 • Unsupervised手法では，先行のLanguage model based GECの性能を大きく上 回った． • Supervised手法では，FSTをSMTラティスに適用し，NLM，NMTと組み合わせる ことで，CoNLL-2014において最高性能を達成した． Conclusion 18
19. • 重み付き有限状態トランスデューサによる音声認識 ◦ 特集 音声情報処理技術の最先端．掘 貴明，塚田 元． • Weighted Finite-state Transducerについて - SlideShare ◦ https://www.slideshare.net/phyllo/weighted-finitestatetransducer • 重み付き有限状態トランスデューサ (WFST) をOpenFstで作成する ◦ http://blog.algolab.jp/post/2016/09/13/openfst/ References 19