Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Intrinsic Evaluation of Word Vectors Fails to P...
Search
katsutan
October 15, 2018
Technology
0
160
Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance
文献紹介
勝田 哲弘
katsutan
October 15, 2018
Tweet
Share
More Decks by katsutan
See All by katsutan
What does BERT learn about the structure of language?
katsutan
0
220
Simple and Effective Paraphrastic Similarity from Parallel Translations
katsutan
0
200
Simple task-specific bilingual word embeddings
katsutan
0
210
Retrofitting Contextualized Word Embeddings with Paraphrases
katsutan
0
240
Character Eyes: Seeing Language through Character-Level Taggers
katsutan
1
190
Improving Word Embeddings Using Kernel PCA
katsutan
0
210
Better Word Embeddings by Disentangling Contextual n-Gram Information
katsutan
0
300
Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications
katsutan
0
250
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
katsutan
0
280
Other Decks in Technology
See All in Technology
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
150
モノレポにおけるエラー管理 ~Runbook自動生成とチームメンションの最適化
biwashi
0
540
サイボウズフロントエンドの横断活動から考える AI時代にできること
mugi_uno
4
1.4k
Yahoo!ニュースにおけるソフトウェア開発
lycorptech_jp
PRO
0
280
Autonomous Database Serverless 技術詳細 / adb-s_technical_detail_jp
oracle4engineer
PRO
18
52k
そのコンポーネント、サーバー?クライアント?App Router開発のモヤモヤを可視化する補助輪
makotot
3
260
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
190
会社にデータエンジニアがいることでできるようになること
10xinc
9
1.5k
.NET開発者のためのAzureの概要
tomokusaba
0
230
現場が抱える様々な問題は “組織設計上” の問題によって生じていることがある / Team-oriented Organization Design 20250827
mtx2s
1
480
イオン店舗一覧ページのパフォーマンスチューニング事例 / Performance tuning example for AEON store list page
aeonpeople
1
220
新卒(ほぼ)専業Kagglerという選択肢
nocchi1
1
1.9k
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
Balancing Empowerment & Direction
lara
2
580
Raft: Consensus for Rubyists
vanstee
140
7.1k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
A better future with KSS
kneath
239
17k
Visualization
eitanlees
146
16k
Art, The Web, and Tiny UX
lynnandtonic
302
21k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
RailsConf 2023
tenderlove
30
1.2k
Bash Introduction
62gerente
614
210k
Transcript
Proceedings of the 1st Workshop on Evaluating Vector Space Representations
for NLP, pages 1–6, Berlin, Germany, August 12, 2016. 2016 Association for Computational Linguistics Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance 長岡技術科学大学 自然言語処理研究室 勝田 哲弘 Billy Chiu, Anna Korhonen, Sampo Pyysalo
Abstract 単語表現の質は、類似度を人間との相関で評価される。 そのような内的評価で、実タスクの精度を予測することができるか • 3つの系列ラベリング • 10の単語類似度のデータセット 2
Introduction ベクトル表現の評価は大きく、内部評価と外部評価に分けられ る。 • 内部評価 ◦ 類似度の相関 ◦ 速く、容易に評価ができる •
外部評価 ◦ POSタグ付け、NER等のタスクの精度 内部と外部の評価に相関があることが前提 → 矛盾する 3
Materials and Methods トレーニングデータ • 学習:word2vec • パラメータ:デフォルト 4
Materials and Methods 評価データ • 内部 (Table 2) • 外部
(Table 3) 5
Results 6
7
Results 相関がある → MTurk-771, SimLex-999 8
Discussion 他のデータセットとSimlex-999の違い • 類似性と関連性を明示的に区別する 窓幅は大きいほど文脈やドメインを、小さいほど機能的類似度を 強調する傾向がある(Turney, 2012) 小さいほうが、POSタグ付け、チャンク化、NERでは有利 9
Discussion 類似性と関連性の違い 関連性に対して類似性は窓幅の影響が少ない 10
Conclusion 内部評価と外部評価の相関を調査 殆どのデータセットで相関が得られなかった • 関連性と類似性の違いを考慮していないこと • biomedicalでも同様の結果が得られている ◦ (Chiu et
al., 2016) 11