Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Neural Grammatical Error Correction with Finite State Transducers

Neural Grammatical Error Correction with Finite State Transducers

長岡技術科学大学
自然言語処理研究室
文献紹介(2019-05-15)
Neural Grammatical Error Correction with Finite State Transducers
https://arxiv.org/abs/1903.10625

66cc992074ab4522374e429c11fef225?s=128

youichiro

May 15, 2019
Tweet

More Decks by youichiro

Other Decks in Research

Transcript

  1. Neural Grammatical Error Correction with Finite State Transducers Felix Stahlberg

    and Christopher Bryant and Bill Byrne arXiv:1903.10625 (Accepted by NAACL 2019) 長岡技術科学大学 自然言語処理研究室 小川耀一朗 文献紹介(2019-05-15) 1
  2. Abstract • Finite state transducer (FST) を文法誤り訂正に適用する手法を提案 • 学習者コーパスを使用しない方法 (Unsupervised)

    と,学習者コーパスを 使用する方法 (Supervised) にて有効性を示した. 2
  3. Introduction • 文法誤り訂正(GEC)タスクでは Neural machine translation (NMT) が高 い性能を示しているが,予測空間は広大である. •

    しかしこのタスクは,局所的で語彙的な訂正を行う問題であり,強い制約 のある問題であるはずだ. • Finite state transducer (FST) を用いてNMTの予測空間を制限する. 3
  4. Finite state acceptor ◼ 有限状態アクセプタ (Finite state acceptor: FSA) ある特定の記号列を受理するか否かを表すモデル

    4 入力が“ab”か“ba”のとき受理するFSA
  5. Finite state transducer ◼ 有限状態トランスデューサ (Finite state transducer: FST) FSAの拡張として,状態遷移において記号を受理すると同時に別の記号を出力す

    るモデル 5 入力“ab”に対して“AB”を,“ba”に対して“BA”を出力するFST
  6. Weighted finite state transducer ◼ 重み付き有限状態トランスデューサ (Weighted finite state transducer:

    WFST) 状態遷移に対して重みを付与することで,コストや確率といった概念の導入を可能 にしたモデル 6 入力“ab”に対しては“AB”と重み4.0(=0.5+1.0+3.0)を出力する
  7. Example FST ◼ 単語発音辞書を表すFST 7 音素列“aoaka”をその発音に対応する単語列”青赤”に変換する ε記号:入力信号の場合→入力なしで状態遷移できる     出力記号の場合→何も出力しないことを表す

  8. Example FST ◼ 言語モデルを表すFST 8

  9. FST composition 9 • 変換過程の合成 (composition) が可能

  10. Constructing the Hypothesis Space 提案手法:予測空間 H をFSTによって構築する  → H を使って

    Neural beam decoder に制約を与える H を構築するために5つのtransducerが登場 (1) I:Input lattice (2) E:Edit transducer (3) P:Penalization transducer (4) L:Language model transducer (5) T:Tokenization words to subwords (BPE) transducer 10
  11. (1) I : 入力単語列にそのまま変換する遷移 (2) E: (Bryant and Briscoe 2018)

    が提案したconfusion sets を表す遷移 Unsupervised FST method 11 (3) P: <corr>をペナルティ(λcorr)に変換する遷移 (4) L: 5-gram LM を表す遷移 way ↓ <corr> ways
  12. NMTに適用させるために,単語からサブワード(BPE)に変換する遷移 T を合成 Unsupervised FST method 12 ↑ 予測空間

  13. Supervised FST method 13 I : 訓練させたSMTの n-best list の遷移

    SMT出力の編集距離の数だけ <mcorr>を追加 ↑ 予測空間
  14. NLMとNMTを加えたスコアを使ってビームサーチを行う もしHBPEにない単語列が入力されたら Beam search 14

  15. • Language models ◦ 5-gram LM: KenLM ◦ Neural LM:

    Transformer decoder architecture ◦ Dataset: One Billion Word Benchmark dataset • Seq2seq models ◦ SMT: (Junczys-Dowmunt and Grundkiewicz 2016) ◦ NMT: Transformer ◦ Datasets: NUCLE, Lang-8 • NMT, NLMはbyte pair encoding(BPE)を使用 • Beam size: 12 Experimental setup 15
  16. ➔ Language model basedの先行研究を上回る Results (unsupervised) 16

  17. ➔ CoNLL-2014において最高性能を上回る Results (Supervised) 17

  18. • Finite state transducer(FST) を文法誤り訂正に応用し,予測空間を制限する手 法を提案 • Unsupervised手法では,先行のLanguage model based

    GECの性能を大きく上 回った. • Supervised手法では,FSTをSMTラティスに適用し,NLM,NMTと組み合わせる ことで,CoNLL-2014において最高性能を達成した. Conclusion 18
  19. • 重み付き有限状態トランスデューサによる音声認識 ◦ 特集 音声情報処理技術の最先端.掘 貴明,塚田 元. • Weighted Finite-state

    Transducerについて - SlideShare ◦ https://www.slideshare.net/phyllo/weighted-finitestatetransducer • 重み付き有限状態トランスデューサ (WFST) をOpenFstで作成する ◦ http://blog.algolab.jp/post/2016/09/13/openfst/ References 19
  20. 20