Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Named Entity Recognition With Parallel Recurren...
Search
katsutan
February 19, 2019
Technology
240
2
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Named Entity Recognition With Parallel Recurrent Neural Networks
文献紹介
長岡技術科学大学 自然言語処理研究室
勝田 哲弘
katsutan
February 19, 2019
Transcript
11 slides
Named Entity Recognition With Parallel Recurrent Neural Networks 長岡技術科学大学 自然言語処理研究室 勝田
哲弘
Author 2
Abstract • 新しいNERのアーキテクチャを提案 • 複数の独立したBiLSTMを使用し、多様性をもたせる。 ◦ モデル間で正則化を用いることで独立させる • CoNLL 2003
NERデータセットでSoTAを達成 3
Introduction • Named entity recognition: ◦ テキスト中の固有表現を推測するタスク ◦ 各単語に適切なタグを付与する(人名、組織、場所 等)
• 近年では、RNN等を用いた外部リソースを必要としないモデ ルを提案されている。 • 本研究では新たにParallel RNNモデルを提案 4
Related Work NERでは様々な手法が提案されている。 • 人手による素性、言語やドメイン固有のリソースに依存する手法 ◦ 高精度を出すことができるが一般化、拡張が難しい ◦ 新しいデータの対応が難しい •
Neural modelを用いた手法 ◦ この分野で最高の精度を出している 5
Parallel RNNs -To promote diversity パラメータの圧縮のため、LSTMを複数のサイズの小さいモデルに分割する 最終的な隠れ層はLSTMsの隠れ層の連結になる 各LSTMのパラメータが直交するように制約を加える。 6
Implementation Details initialized: Xavier initialization (Glorot and Bengio, 2010) word
embeddings of size: 100 character embedding: max-pooling, single LSTM, dim(char) = 50 dropout: p = 0.1 regularization term parameter: λ = 0.01 optimizer: Adam 7
Results 8
Results 9
Results 10
Conclusion CoNLL 2003の英語データセットで最先端の結果を達成 その容易な分配可能性とパラメータの総数の削減に動機付けられた新しいモデルを提 案 今後は、 異なるタスク、分類および系列ラベリングの評価に関して実験を行っていく モデルがCPU間で並列化されている場合の処理時間を分析して速度を比較 11
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
280
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
240
Simple task-specific bilingual word embeddings
katsutan
0
250
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
310
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
250
Improving Word Embeddings Using Kernel PCA
katsutan
0
260
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
380
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
310
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
330
Other Decks in Technology
See All in Technology
20261119_AgentCore
takuyay0ne
2
280
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
440
コーディングできない僕にBobが舞い降りた
shumpei3
0
200
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
AI-DLCでソフトウェア開発の速さは 上がったのか?
rfdnxbro
0
150
ポケモンバトルのAIエージェント
koji_kawamura
0
230
「正しいデータ」の定義をAI エージェントとつくるGoogleADKによるデータ品質定義の実践
takaha4k
0
140
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
270
Kubernetes, Agones, WebRTC, GPU で作る クラウドゲーミング基盤を本番運用に乗せるまで
vivion
0
280
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
420
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
400
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
1
350
Featured
See All Featured
AI: The stuff that nobody shows you
jnunemaker
PRO
12
1.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
409
67k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
38
3.1k
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
61k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
18k
Faster Mobile Websites
deanohume
310
32k
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640
Music & Morning Musume
bryan
48
7.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
123
22k
Breaking role norms: Why Content Design is so much more than writing copy - Taylor Woolridge
uxyall
2
540
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
508
140k