Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Intrinsic Evaluation of Word Vectors Fails to P...
Search
katsutan
October 15, 2018
Technology
170
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
文献紹介
勝田 哲弘
katsutan
October 15, 2018
Transcript
11 slides
Proceedings of the 1st Workshop on Evaluating Vector Space Representations
for NLP, pages 1–6, Berlin, Germany, August 12, 2016. 2016 Association for Computational Linguistics Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance 長岡技術科学大学 自然言語処理研究室 勝田 哲弘 Billy Chiu, Anna Korhonen, Sampo Pyysalo
Abstract 単語表現の質は、類似度を人間との相関で評価される。 そのような内的評価で、実タスクの精度を予測することができるか • 3つの系列ラベリング • 10の単語類似度のデータセット 2
Introduction ベクトル表現の評価は大きく、内部評価と外部評価に分けられ る。 • 内部評価 ◦ 類似度の相関 ◦ 速く、容易に評価ができる •
外部評価 ◦ POSタグ付け、NER等のタスクの精度 内部と外部の評価に相関があることが前提 → 矛盾する 3
Materials and Methods トレーニングデータ • 学習:word2vec • パラメータ:デフォルト 4
Materials and Methods 評価データ • 内部 (Table 2) • 外部
(Table 3) 5
Results 6
7
Results 相関がある → MTurk-771, SimLex-999 8
Discussion 他のデータセットとSimlex-999の違い • 類似性と関連性を明示的に区別する 窓幅は大きいほど文脈やドメインを、小さいほど機能的類似度を 強調する傾向がある(Turney, 2012) 小さいほうが、POSタグ付け、チャンク化、NERでは有利 9
Discussion 類似性と関連性の違い 関連性に対して類似性は窓幅の影響が少ない 10
Conclusion 内部評価と外部評価の相関を調査 殆どのデータセットで相関が得られなかった • 関連性と類似性の違いを考慮していないこと • biomedicalでも同様の結果が得られている ◦ (Chiu et
al., 2016) 11
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
280
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
240
Simple task-specific bilingual word embeddings
katsutan
0
250
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
310
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
250
Improving Word Embeddings Using Kernel PCA
katsutan
0
260
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
380
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
310
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
330
Other Decks in Technology
See All in Technology
Well, that’s weird…
csswizardry
1
200
メディアアートを〈拡張〉する——器官学と個体化論を手がかりに
_kotobuki_
0
110
プラガブルで宣言的なソフトウェアファクトリーを支えるTypeScript
timakin
2
620
現場に渡し、構造で守る AI エージェントを活用したセルフサーブのデータ基盤の運用
legalontechnologies
PRO
0
110
【Oracle AI SPOTLIGHT ウェビナー】AI時代、狙われるデータと止められない業務をどう守るか?
oracle4engineer
PRO
1
140
現地速報! Microsoft Ignite アップデートレポート
kasada
1
460
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
270
みん強Lightning! データ基盤ひとりでできるかな
endonanana
0
190
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
870
Del vibe coding a un Desarrollo (agéntico) fiable
jcabot
0
220
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
ノードが消える前提で設計する!Karpenterで金融システムを止めないためのノウハウ大全
daitak
1
250
Featured
See All Featured
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
Digital Ethics as a Driver of Design Innovation
axbom
PRO
2
560
GraphQLの誤解/rethinking-graphql
sonatard
75
12k
Leading Effective Engineering Teams in the AI Era
addyosmani
9
2.9k
Conquering PDFs: document understanding beyond plain text
inesmontani
PRO
4
3.3k
16th Malabo Montpellier Forum Presentation
akademiya2063
PRO
0
470
Building Experiences: Design Systems, User Experience, and Full Site Editing
marktimemedia
1
670
Designing for Timeless Needs
cassininazir
1
570
It's Worth the Effort
3n
188
29k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
35
2.9k
Unsuck your backbone
ammeep
672
58k
New Earth Scene 8
popppiees
5
2.9k