Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Named Entity Recognition With Parallel Recurrent Neural Networks
Search
katsutan
February 19, 2019
Technology
2
170
Named Entity Recognition With Parallel Recurrent Neural Networks
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田 哲弘
katsutan
February 19, 2019
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
180
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
160
Simple task-specific bilingual word embeddings
katsutan
0
180
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
200
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
150
Improving Word Embeddings Using Kernel PCA
katsutan
0
180
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
240
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
220
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
250
Other Decks in Technology
See All in Technology
Elementaryを用いたデータ品質の可視化とデータ基盤の運用改善
10xinc
6
1.4k
Getting started with controlling LEGO using Swift
hcrane
0
130
.NETの非同期戦略とUnityとの相互運用
neuecc
2
2.4k
現実世界の事象から学ぶSOLID原則
h0r15h0
24
10k
関数型DDDの理論と実践:「決定を遅らせる」を先につくり、 ビジネスの機動力と価値をあげる
knih
2
470
統計的学習理論読み Chapter 2
kmatsui
1
190
AWS アーキテクチャクイズ
yuu26
2
700
マイクロサービス環境におけるDB戦略 in DMMプラットフォーム
pospome
11
3k
BDD(Cucumber)コミュニティが無料提供しているコンテンツの紹介と現在起きている危機
nihonbuson
4
730
プッシュ型子育てサービスを、先行プロジェクト実施自治体において開始します
govtechtokyo
0
240
どう買う?Azure
kuniteru
1
190
暗黙知を集積するプラットフォーム : 「健常者エミュレータ事例集」の取り組み
sora32127
1
160
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
57
14k
Raft: Consensus for Rubyists
vanstee
130
6.2k
Into the Great Unknown - MozCon
thekraken
10
830
The Pragmatic Product Professional
lauravandoore
24
5.7k
Principles of Awesome APIs and How to Build Them.
keavy
119
16k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
5 minutes of I Can Smell Your CMS
philhawksworth
199
19k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
1
1.2k
Gamification - CAS2011
davidbonilla
76
4.5k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
657
120k
GitHub's CSS Performance
jonrohan
1023
450k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.3k
Transcript
Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学 自然言語処理研究室 勝田
哲弘
Author 2
Abstract • 新しいNERのアーキテクチャを提案 • 複数の独立したBiLSTMを使用し、多様性をもたせる。 ◦ モデル間で正則化を用いることで独立させる • CoNLL 2003
NERデータセットでSoTAを達成 3
Introduction • Named entity recognition: ◦ テキスト中の固有表現を推測するタスク ◦ 各単語に適切なタグを付与する(人名、組織、場所 等)
• 近年では、RNN等を用いた外部リソースを必要としないモデ ルを提案されている。 • 本研究では新たにParallel RNNモデルを提案 4
Related Work NERでは様々な手法が提案されている。 • 人手による素性、言語やドメイン固有のリソースに依存する手法 ◦ 高精度を出すことができるが一般化、拡張が難しい ◦ 新しいデータの対応が難しい •
Neural modelを用いた手法 ◦ この分野で最高の精度を出している 5
Parallel RNNs -To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する 最終的な隠れ層はLSTMsの隠れ層の連結になる 各LSTMのパラメータが直交するように制約を加える。 6
Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word
embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7
Results 8
Results 9
Results 10
Conclusion CoNLL 2003の英語データセットで最先端の結果を達成 その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提 案 今後は、 異なるタスク、分類および系列ラベリングの評価に関して実験を行っていく モデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11