Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
Named Entity Recognition With Parallel Recurrent Neural Networks
katsutan
February 19, 2019
Technology
2
140
Named Entity Recognition With Parallel Recurrent Neural Networks
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田 哲弘
katsutan
February 19, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
120
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
96
Simple task-specific bilingual word embeddings
katsutan
0
110
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
120
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
89
Improving Word Embeddings Using Kernel PCA
katsutan
0
120
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
120
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
140
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
180
Other Decks in Technology
See All in Technology
Adopting Kafka for the #1 job site in the world
ymyzk
1
330
Embedded SRE at Mercari
tcnksm
0
810
新規ゲームのリリース(開発)前からのSRE活動
tmkoikee
1
130
CADDi HCMC Technology Center
caddi_eng
0
250
JAWS-UG 朝会 #33 登壇資料
takakuni
0
380
Who owns the Service Level?
chaspy
5
880
アルプの 認証/認可分離戦略と手法
ma2k8
PRO
1
280
Team building programs for Engineering Team at Torana, Inc
memory1994
PRO
0
100
Puny to Powerful PostgreSQL Rails Apps
andyatkinson
PRO
0
270
信頼性の階層の一段目を積み上げる/Monitoring Dashboard
shonansurvivors
0
140
Oracle Database Technology Night #55 Oracle Autonomous Database 再入門
oracle4engineer
PRO
1
120
數據的多重宇宙 @ LINE Taiwan
line_developers_tw
PRO
0
620
Featured
See All Featured
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
181
15k
Design by the Numbers
sachag
271
17k
Done Done
chrislema
174
14k
The MySQL Ecosystem @ GitHub 2015
samlambert
238
11k
Making Projects Easy
brettharned
98
4.3k
A better future with KSS
kneath
225
15k
YesSQL, Process and Tooling at Scale
rocio
157
12k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
103
16k
GraphQLとの向き合い方2022年版
quramy
16
8.1k
The Power of CSS Pseudo Elements
geoffreycrofte
46
3.9k
Fantastic passwords and where to find them - at NoRuKo
philnash
25
1.5k
The Web Native Designer (August 2011)
paulrobertlloyd
74
1.9k
Transcript
Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学 自然言語処理研究室 勝田
哲弘
Author 2
Abstract • 新しいNERのアーキテクチャを提案 • 複数の独立したBiLSTMを使用し、多様性をもたせる。 ◦ モデル間で正則化を用いることで独立させる • CoNLL 2003
NERデータセットでSoTAを達成 3
Introduction • Named entity recognition: ◦ テキスト中の固有表現を推測するタスク ◦ 各単語に適切なタグを付与する(人名、組織、場所 等)
• 近年では、RNN等を用いた外部リソースを必要としないモデ ルを提案されている。 • 本研究では新たにParallel RNNモデルを提案 4
Related Work NERでは様々な手法が提案されている。 • 人手による素性、言語やドメイン固有のリソースに依存する手法 ◦ 高精度を出すことができるが一般化、拡張が難しい ◦ 新しいデータの対応が難しい •
Neural modelを用いた手法 ◦ この分野で最高の精度を出している 5
Parallel RNNs -To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する 最終的な隠れ層はLSTMsの隠れ層の連結になる 各LSTMのパラメータが直交するように制約を加える。 6
Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word
embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7
Results 8
Results 9
Results 10
Conclusion CoNLL 2003の英語データセットで最先端の結果を達成 その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提 案 今後は、 異なるタスク、分類および系列ラベリングの評価に関して実験を行っていく モデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11