Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
Search
katsutan
October 15, 2018
Technology
0
140
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
文献紹介
勝田 哲弘
katsutan
October 15, 2018
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
180
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
160
Simple task-specific bilingual word embeddings
katsutan
0
180
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
200
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
150
Improving Word Embeddings Using Kernel PCA
katsutan
0
180
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
240
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
220
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
250
Other Decks in Technology
See All in Technology
8週連続ウェビナー_イチから学ぶFivetran
cmsuzu
0
160
TCA入門したてなので、自分が馴染みのある実装と比較しながらキャッチアップしてみる
fumiyasac0921
1
370
オブジェクト指向CSSが叶えたかったことと、CSSのいま / The aims of Object-oriented CSS and the current state of CSS usage
shinkufencer
11
3.1k
WebXR で Web をもっと楽しもう
qst_exe
0
110
ExaDB-D dbaascli で出来ること
oracle4engineer
PRO
0
1.8k
生成AIの不確実性と向き合うためのオブジェクト指向設計
tkikuchi1002
2
290
Oracle Database で機械学習を始めよう! Oracle Machine Learning
oracle4engineer
PRO
1
130
『QAという人』が必要ではなく、『QAという技術』が必要
sadonosake
2
450
技術広報経験0のEMがエンジニアブランディングをはじめてみた
coconala_engineer
1
120
Autopsy of a Cascading Outage from a MySQL Crashing Bug
jfg956
0
200
データ化エンジニアとしての1年を振り返る
sansantech
PRO
3
250
2023 Japan AWS Jr.Championsに選出されての振り返りとこれから
hiropy877
1
130
Featured
See All Featured
Side Projects
sachag
451
41k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
14
1.3k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
111
35k
Imperfection Machines: The Place of Print at Facebook
scottboms
257
12k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Being A Developer After 40
akosma
56
580k
Fontdeck: Realign not Redesign
paulrobertlloyd
75
4.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
10
4.5k
From Idea to $5000 a Month in 5 Months
shpigford
376
45k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2k
Git: the NoSQL Database
bkeepers
PRO
421
63k
Clear Off the Table
cherdarchuk
82
310k
Transcript
Proceedings of the 1st Workshop on Evaluating Vector Space Representations
for NLP, pages 1–6, Berlin, Germany, August 12, 2016. 2016 Association for Computational Linguistics Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance 長岡技術科学大学 自然言語処理研究室 勝田 哲弘 Billy Chiu, Anna Korhonen, Sampo Pyysalo
Abstract 単語表現の質は、類似度を人間との相関で評価される。 そのような内的評価で、実タスクの精度を予測することができるか • 3つの系列ラベリング • 10の単語類似度のデータセット 2
Introduction ベクトル表現の評価は大きく、内部評価と外部評価に分けられ る。 • 内部評価 ◦ 類似度の相関 ◦ 速く、容易に評価ができる •
外部評価 ◦ POSタグ付け、NER等のタスクの精度 内部と外部の評価に相関があることが前提 → 矛盾する 3
Materials and Methods トレーニングデータ • 学習:word2vec • パラメータ:デフォルト 4
Materials and Methods 評価データ • 内部 (Table 2) • 外部
(Table 3) 5
Results 6
7
Results 相関がある → MTurk-771, SimLex-999 8
Discussion 他のデータセットとSimlex-999の違い • 類似性と関連性を明示的に区別する 窓幅は大きいほど文脈やドメインを、小さいほど機能的類似度を 強調する傾向がある(Turney, 2012) 小さいほうが、POSタグ付け、チャンク化、NERでは有利 9
Discussion 類似性と関連性の違い 関連性に対して類似性は窓幅の影響が少ない 10
Conclusion 内部評価と外部評価の相関を調査 殆どのデータセットで相関が得られなかった • 関連性と類似性の違いを考慮していないこと • biomedicalでも同様の結果が得られている ◦ (Chiu et
al., 2016) 11