Named Entity Recognition With Parallel Recurrent Neural Networks

文献紹介
長岡技術科学大学　自然言語処理研究室
勝田 哲弘

Transcript

1. Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学　自然言語処理研究室 勝田 哲弘
2. Author 2
3. Abstract • 新しいNERのアーキテクチャを提案 • 複数の独立したBiLSTMを使用し、多様性をもたせる。 ◦ モデル間で正則化を用いることで独立させる • CoNLL 2003 NERデータセットでSoTAを達成 3
4. Introduction • Named entity recognition: ◦ テキスト中の固有表現を推測するタスク ◦ 各単語に適切なタグを付与する（人名、組織、場所 等） • 近年では、RNN等を用いた外部リソースを必要としないモデ ルを提案されている。 • 本研究では新たにParallel RNNモデルを提案 4
5. Related Work NERでは様々な手法が提案されている。 • 人手による素性、言語やドメイン固有のリソースに依存する手法 ◦ 高精度を出すことができるが一般化、拡張が難しい ◦ 新しいデータの対応が難しい • Neural modelを用いた手法 ◦ この分野で最高の精度を出している 5
6. Parallel RNNs　-To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する 最終的な隠れ層はLSTMsの隠れ層の連結になる 各LSTMのパラメータが直交するように制約を加える。 6
7. Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7
8. Results 8
9. Results 9
10. Results 10
11. Conclusion CoNLL 2003の英語データセットで最先端の結果を達成 その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提 案 今後は、 異なるタスク、分類および系列ラベリングの評価に関して実験を行っていく モデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11