Named Entity Recognition With Parallel Recurrent Neural Networks

Slide 1

Slide 1 text

Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学　自然言語処理研究室勝田哲弘

Slide 2

Slide 2 text

Author 2

Slide 3

Slide 3 text

Abstract ● 新しいNERのアーキテクチャを提案 ● 複数の独立したBiLSTMを使用し、多様性をもたせる。 ○ モデル間で正則化を用いることで独立させる ● CoNLL 2003 NERデータセットでSoTAを達成 3

Slide 4

Slide 4 text

Introduction ● Named entity recognition: ○ テキスト中の固有表現を推測するタスク ○ 各単語に適切なタグを付与する（人名、組織、場所等） ● 近年では、RNN等を用いた外部リソースを必要としないモデルを提案されている。 ● 本研究では新たにParallel RNNモデルを提案 4

Slide 5

Slide 5 text

Related Work NERでは様々な手法が提案されている。 ● 人手による素性、言語やドメイン固有のリソースに依存する手法 ○ 高精度を出すことができるが一般化、拡張が難しい ○ 新しいデータの対応が難しい ● Neural modelを用いた手法 ○ この分野で最高の精度を出している 5

Slide 6

Slide 6 text

Parallel RNNs　-To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する最終的な隠れ層はLSTMsの隠れ層の連結になる各LSTMのパラメータが直交するように制約を加える。 6

Slide 7

Slide 7 text

Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7

Slide 8

Slide 8 text

Results 8

Slide 9

Slide 9 text

Results 9

Slide 10

Slide 10 text

Results 10

Slide 11

Slide 11 text

Conclusion CoNLL 2003の英語データセットで最先端の結果を達成その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提案今後は、異なるタスク、分類および系列ラベリングの評価に関して実験を行っていくモデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11