Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Named Entity Recognition With Parallel Recurrent Neural Networks

19861bbc3b8d3ef89df5400d1e2c529a?s=47 katsutan
February 19, 2019

Named Entity Recognition With Parallel Recurrent Neural Networks

文献紹介
長岡技術科学大学 自然言語処理研究室
勝田 哲弘

19861bbc3b8d3ef89df5400d1e2c529a?s=128

katsutan

February 19, 2019
Tweet

More Decks by katsutan

Other Decks in Technology

Transcript

  1. Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学 自然言語処理研究室 勝田

    哲弘
  2. Author 2

  3. Abstract • 新しいNERのアーキテクチャを提案 • 複数の独立したBiLSTMを使用し、多様性をもたせる。 ◦ モデル間で正則化を用いることで独立させる • CoNLL 2003

    NERデータセットでSoTAを達成 3
  4. Introduction • Named entity recognition: ◦ テキスト中の固有表現を推測するタスク ◦ 各単語に適切なタグを付与する(人名、組織、場所 等)

    • 近年では、RNN等を用いた外部リソースを必要としないモデ ルを提案されている。 • 本研究では新たにParallel RNNモデルを提案 4
  5. Related Work NERでは様々な手法が提案されている。 • 人手による素性、言語やドメイン固有のリソースに依存する手法 ◦ 高精度を出すことができるが一般化、拡張が難しい ◦ 新しいデータの対応が難しい •

    Neural modelを用いた手法 ◦ この分野で最高の精度を出している 5
  6. Parallel RNNs -To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する 最終的な隠れ層はLSTMsの隠れ層の連結になる 各LSTMのパラメータが直交するように制約を加える。 6

  7. Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word

    embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7
  8. Results 8

  9. Results 9

  10. Results 10

  11. Conclusion CoNLL 2003の英語データセットで最先端の結果を達成 その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提 案 今後は、 異なるタスク、分類および系列ラベリングの評価に関して実験を行っていく モデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11