Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Intrinsic Evaluation of Word Vectors Fails to P...
Search
katsutan
October 15, 2018
Technology
0
150
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
文献紹介
勝田 哲弘
katsutan
October 15, 2018
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
190
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
170
Simple task-specific bilingual word embeddings
katsutan
0
190
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
220
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
170
Improving Word Embeddings Using Kernel PCA
katsutan
0
200
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
270
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
240
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
260
Other Decks in Technology
See All in Technology
AI-Driven-Development-20250310
yuhattor
3
330
どうすると生き残れないのか/how-not-to-survive
hanhan1978
13
10k
社内でKaggle部を作って初学者育成した話
daikon99
1
200
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
250
やっぱり余白が大切だった話
kakehashi
PRO
2
250
MLflowはどのようにLLMOpsの課題を解決するのか
taka_aki
0
180
生成AIがローコードツールになる時代の エンジニアの役割を考える
khwada
0
370
Go Modulesの仕組み Bundler(Ruby)との比較を添えて
daisuketakeda
0
110
Amazon Bedrock 2025 年の熱いアップデート (2025/3 時点)
icoxfog417
PRO
3
480
完璧を捨てろ! “攻め”のQAがもたらすスピードと革新/20250306 Hiroki Hachisuka
shift_evolve
0
190
LangGraph × Bedrock による複数の Agentic Workflow を利用した Supervisor 型のマルチエージェントの実現/langgraph-bedrock-supervisor-agent
ren8k
3
450
きのこカンファレンス_ランチスポンサーセッション
kabaya
1
350
Featured
See All Featured
Into the Great Unknown - MozCon
thekraken
35
1.7k
Facilitating Awesome Meetings
lara
53
6.3k
Site-Speed That Sticks
csswizardry
4
420
Faster Mobile Websites
deanohume
306
31k
Automating Front-end Workflow
addyosmani
1369
200k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
For a Future-Friendly Web
brad_frost
176
9.6k
Scaling GitHub
holman
459
140k
GitHub's CSS Performance
jonrohan
1030
460k
It's Worth the Effort
3n
184
28k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
11
560
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Transcript
Proceedings of the 1st Workshop on Evaluating Vector Space Representations
for NLP, pages 1–6, Berlin, Germany, August 12, 2016. 2016 Association for Computational Linguistics Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance 長岡技術科学大学 自然言語処理研究室 勝田 哲弘 Billy Chiu, Anna Korhonen, Sampo Pyysalo
Abstract 単語表現の質は、類似度を人間との相関で評価される。 そのような内的評価で、実タスクの精度を予測することができるか • 3つの系列ラベリング • 10の単語類似度のデータセット 2
Introduction ベクトル表現の評価は大きく、内部評価と外部評価に分けられ る。 • 内部評価 ◦ 類似度の相関 ◦ 速く、容易に評価ができる •
外部評価 ◦ POSタグ付け、NER等のタスクの精度 内部と外部の評価に相関があることが前提 → 矛盾する 3
Materials and Methods トレーニングデータ • 学習:word2vec • パラメータ:デフォルト 4
Materials and Methods 評価データ • 内部 (Table 2) • 外部
(Table 3) 5
Results 6
7
Results 相関がある → MTurk-771, SimLex-999 8
Discussion 他のデータセットとSimlex-999の違い • 類似性と関連性を明示的に区別する 窓幅は大きいほど文脈やドメインを、小さいほど機能的類似度を 強調する傾向がある(Turney, 2012) 小さいほうが、POSタグ付け、チャンク化、NERでは有利 9
Discussion 類似性と関連性の違い 関連性に対して類似性は窓幅の影響が少ない 10
Conclusion 内部評価と外部評価の相関を調査 殆どのデータセットで相関が得られなかった • 関連性と類似性の違いを考慮していないこと • biomedicalでも同様の結果が得られている ◦ (Chiu et
al., 2016) 11