Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
20190918NERchallenge_tathi_public.pdf
tatHi
September 18, 2019
1
740
20190918NERchallenge_tathi_public.pdf
tatHi
September 18, 2019
Tweet
Share
More Decks by tatHi
See All by tatHi
テキストベクトルの重み付けを用いたタスクに対する単語分割の最適化
tathi
1
210
要点を聞いてもらえるプレゼンを作ろう
tathi
9
3.4k
Task-Oriented Word Segmentation (Presentation for Doctoral Dissertation)
tathi
3
260
論文紹介: Fast WordPiece Tokenization
tathi
0
76
最先端NLP2021: How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models
tathi
0
230
文系的な興味を理系的な達成目標に変換する
tathi
6
2.8k
最先端NLP2020: Dice Loss for Data-imbalanced NLP Tasks
tathi
0
1.1k
saisentan-nlp(hiraoka)
tathi
0
180
Featured
See All Featured
What the flash - Photography Introduction
edds
62
10k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_i
23
15k
It's Worth the Effort
3n
172
25k
Visualization
eitanlees
125
11k
Practical Orchestrator
shlominoach
178
8.6k
A better future with KSS
kneath
225
15k
Statistics for Hackers
jakevdp
781
210k
Unsuck your backbone
ammeep
659
55k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
37
3.3k
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
Music & Morning Musume
bryan
35
4.2k
Why Our Code Smells
bkeepers
PRO
324
55k
Transcript
About me • Tatsuya Hiraoka • ~2017.3 早⼤(英語教育/理論⾔語学) • ~2019.3
NAIST(松本研) • 2019.4~ 東⼯⼤(岡崎研)、D1 • そーしゃる: • Twitter: 7a7hi • GitHub: tathi 2019/9/18 NLP/CV SoTA Survey Challenge 1
Using Similarity Measures to Select Pretraining Data for NER Xiang
Dai, Sarvnaz Karimi, Ben Hachey, Cecile Paris NAACL 2019 2019/9/18 NLP/CV SoTA Survey Challenge 8
三⽂で • NERの事前学習⽤コーパスをどう選択するか • 三つの指標で事前学習⽤コーパスと メインタスクの類似度を数値化 • 類似度とタスクパフォーマンスに相関有り 2019/9/18 NLP/CV
SoTA Survey Challenge 9
NLPにおけるPretraining ラベル付き 新聞コーパス 学習器 実際に学習したいタスク(target) • ラベル付きデータセットは規模が⼩さい 2019/9/18 NLP/CV SoTA
Survey Challenge 10
NLPにおけるPretraining ラベル付き 新聞コーパス 学習器 実際に学習したいタスク(target) • ラベル付きデータセットは規模が⼩さい • 利⽤可能なラベルなしデータで事前学習 医療コーパス
新聞コーパス ブログ コーパス 単語分散表現などを事前学習 するためのタスク(source) 2019/9/18 NLP/CV SoTA Survey Challenge 11
ラベル付き 新聞コーパス 学習器 実際に学習したいタスク(target) 医療コーパス 新聞コーパス ブログ コーパス 単語分散表現などを事前学習 するためのタスク(source)
NLPにおけるPretraining • ラベル付きデータセットは規模が⼩さい • 利⽤可能なラベルなしデータで事前学習 Q: どのコーパスで事前学習するのが⼀番効果的? 2019/9/18 NLP/CV SoTA Survey Challenge 12
ラベル付き 新聞コーパス 学習器 実際に学習したいタスク(target) 医療コーパス 新聞コーパス ブログ コーパス 単語分散表現などを事前学習 するためのタスク(source)
NLPにおけるPretraining • ラベル付きデータセットは規模が⼩さい • 利⽤可能なラベルなしデータで事前学習 Q: どのコーパスで事前学習するのが⼀番効果的? ◦ × △ A: 直感で選べ! 2019/9/18 NLP/CV SoTA Survey Challenge 13
ラベル付き 新聞コーパス 学習器 実際に学習したいタスク(target) 医療コーパス 新聞コーパス ブログ コーパス 単語分散表現などを事前学習 するためのタスク(source)
target/sourceの関係性を測るスコアが欲しい →定量的に事前学習コーパスを選択できるかも NLPにおけるPretraining • ラベル付きデータセットは規模が⼩さい • 利⽤可能なラベルなしデータで事前学習 Q: どのコーパスで事前学習するのが⼀番効果的? 2019/9/18 NLP/CV SoTA Survey Challenge 14 ◦ × △
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 相関があるはず 2019/9/18
NLP/CV SoTA Survey Challenge 15
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 ラベル付き 新聞コーパス
ラベルなし 医療コーパス 相関があるはず 学習器 2019/9/18 NLP/CV SoTA Survey Challenge 16
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 ラベル付き 新聞コーパス
ラベルなし 医療コーパス 相関があるはず 学習器 事前学習 2019/9/18 NLP/CV SoTA Survey Challenge 17
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 ラベル付き 新聞コーパス
ラベルなし 医療コーパス 相関があるはず 学習器 メインタスクの学習 事前学習 2019/9/18 NLP/CV SoTA Survey Challenge 18
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 ラベル付き 新聞コーパス
ラベルなし 医療コーパス 相関があるはず 類似度 学習器 メインタスクの学習 事前学習 2019/9/18 NLP/CV SoTA Survey Challenge 19
類似度と性能に相関? • (仮説) • 事前学習がメインタスクの性能に与える影響 • 事前学習⽤のコーパスとメインタスク学習⽤の コーパスの類似度 ラベル付き 新聞コーパス
ラベルなし 医療コーパス 相関があるはず 類似度 学習器 メインタスクの学習 事前学習 性能と相関? 2019/9/18 NLP/CV SoTA Survey Challenge 20
コーパス間の類似度 1. コーパス間の単語の被覆率 2. ⾔語モデルによる指標 3. 単語分散表現による指標 ラベル付き 新聞コーパス ラベルなし
医療コーパス 類似度 𝐷! 𝐷" 2019/9/18 NLP/CV SoTA Survey Challenge 21
コーパス間の類似度 1. コーパス間の単語の被覆率 • sourceの語彙𝑉#! とtargetの語彙𝑉#" から計算 • 語彙が似ているほどスコアが⾼い(⾼いほど良い) ラベル付き
新聞コーパス ラベルなし 医療コーパス 類似度 𝐷! 𝐷" 𝑇𝑉𝐶 𝐷! , 𝐷" = 𝑉#! ∩ 𝑉#" |𝑉## | 𝑉#! 𝑉#" 2019/9/18 NLP/CV SoTA Survey Challenge 22
コーパス間の類似度 2. ⾔語モデルによる指標 • 𝐷! で学習した離散⾔語モデルによる 𝐷" でのパープレキシティを利⽤ • コーパス間の語彙や⽂脈が似ているほど
スコアが下がる(低いほど良い) ラベル付き 新聞コーパス ラベルなし 医療コーパス 類似度 𝐷! 𝐷" 𝑃𝑃𝐿 𝐷! , 𝐷" = . $%& ' 𝑃 𝐷" $ |𝜃#! ( & )$ ⾔語モデル 学習 PPL計測 2019/9/18 NLP/CV SoTA Survey Challenge 23
コーパス間の類似度 3. 単語分散表現による指標 • 𝐷! で単語分散表現を学習 →𝐷" で再学習し、どのくらい動いたかを計算 • コーパス間の語彙や⽂脈が似ているほど
スコアが下がる(低いほど良い) ラベル付き 新聞コーパス ラベルなし 医療コーパス 類似度 𝐷! 𝐷" 𝑊𝑊𝑉 𝐷! , 𝐷" = 1 |𝑉! | 1 𝑑 . $ *! . + , 𝑊 ! $,+ − 𝑊" $,+ . 単語分散表現 𝑊! 単語分散表現 𝑊" 𝑊𝑊𝑉 2019/9/18 NLP/CV SoTA Survey Challenge 24
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 2019/9/18 NLP/CV SoTA Survey Challenge
25
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス 2019/9/18 NLP/CV SoTA Survey Challenge 26
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス ⾔語モデル を事前学習 単語分散表現 を事前学習 2019/9/18 NLP/CV SoTA Survey Challenge 27
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス ⾔語モデル を事前学習 単語分散表現 を事前学習 1. 単語の被覆率(TVC) TVcC: 名詞・動詞・形容詞 のみで計算 2019/9/18 NLP/CV SoTA Survey Challenge 28
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス ⾔語モデル を事前学習 単語分散表現 を事前学習 1. 単語の被覆率(TVC) TVcC: 名詞・動詞・形容詞 のみで計算 2. ⾔語モデル による類似度 2019/9/18 NLP/CV SoTA Survey Challenge 29
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス ⾔語モデル を事前学習 単語分散表現 を事前学習 1. 単語の被覆率(TVC) TVcC: 名詞・動詞・形容詞 のみで計算 2. ⾔語モデル による類似度 3. 単語分散表現 による類似度 2019/9/18 NLP/CV SoTA Survey Challenge 30
NERでの評価 • 類似度とメインタスク(NER)の性能を⽐較 • 多くのデータセットで類似度が性能と関係あり 新聞 新聞 医療 医学 レビュー
メインタスク 事前学習 コーパス ⾔語モデル を事前学習 単語分散表現 を事前学習 1. 単語の被覆率(TVC) TVcC: 名詞・動詞・形容詞 のみで計算 2. ⾔語モデル による類似度 3. 単語分散表現 による類似度 2019/9/18 NLP/CV SoTA Survey Challenge 31
NERでの評価 様々なドメインで、 類似度と性能関係あり 薬剤 新聞 ⽣物 ⽣物 ⼯学 実験 2019/9/18
NLP/CV SoTA Survey Challenge 32
NERでの評価 様々なドメインで、 類似度と性能関係あり 薬剤 新聞 ⽣物 ⽣物 ⼯学 実験 2019/9/18
NLP/CV SoTA Survey Challenge 33
NERでの評価 様々なドメインで、 類似度と性能関係あり 薬剤 新聞 ⽣物 ⽣物 ⼯学 実験 類似度・性能の相関係数
内容語(名詞・動詞・形容詞)だけで 語彙被覆率を計算したTVcCが 単語分散表現・⾔語モデルの事前学習 双⽅で性能と強めの相関 2019/9/18 NLP/CV SoTA Survey Challenge 34
まとめと気持ち • シンプルなコーパス間の類似度が、 事前学習のメインタスクへの影響と相関する • 語彙が似たコーパスでの事前学習が効果的 • それはそう • NER以外にも応⽤できそう
• 直感を定量化したのがえらい 2019/9/18 NLP/CV SoTA Survey Challenge 35