Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Unsupervised Word Polysemy Quantification ...
Search
Taichi Aida
July 23, 2021
Research
0
110
文献紹介:Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
Taichi Aida
July 23, 2021
Tweet
Share
More Decks by Taichi Aida
See All by Taichi Aida
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
1
210
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
300
YANS2024:目指せ国際会議!「ネットワーキングの極意(国際会議編)」
a1da4
0
230
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
360
新入生向けチュートリアル:文献のサーベイv2
a1da4
15
10k
文献紹介:Isotropic Representation Can Improve Zero-Shot Cross-Lingual Transfer on Multilingual Language Models
a1da4
0
180
文献紹介:WhitenedCSE: Whitening-based Contrastive Learning of Sentence Embeddings
a1da4
1
290
文献紹介:On the Transformation of Latent Space in Fine-Tuned NLP Models
a1da4
0
110
新入生向けチュートリアル:文献のサーベイ
a1da4
0
490
Other Decks in Research
See All in Research
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
140
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.3k
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
830
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
4.2k
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
430
Cross-Media Information Spaces and Architectures
signer
PRO
0
230
一人称視点映像解析の最先端(MIRU2025 チュートリアル)
takumayagi
6
3.4k
[CV勉強会@関東 CVPR2025] VLM自動運転model S4-Driver
shinkyoto
2
470
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.8k
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
340
能動適応的実験計画
masakat0
2
800
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
1
150
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1370
200k
Building Better People: How to give real-time feedback that sticks.
wjessup
368
19k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
185
54k
Facilitating Awesome Meetings
lara
55
6.5k
Designing for Performance
lara
610
69k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Agile that works and the tools we love
rasmusluckow
330
21k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Become a Pro
speakerdeck
PRO
29
5.5k
Transcript
Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings
Christos Xypolopoulos, Antoine Tixier, Michalis Vazirgiannis EACL2021 論文紹介
導入 - 単語の多義語の度合いを予測する手法を提案 - 単語の順位付けタスクで6種類の評価指標におい て6種類の人手セットとの相関を示した 2
手法 - 仮定:文脈あり単語ベクトルが空間を占める大き さは多義語の度合いを示す - 手法: 1. D次元に圧縮して格子状に線を引く 2. 単語ごとに格子を占める比率を計算
3. 多義語の度合いを示すスコアを計算 3 多義語の度合い word 1 > word 2
手法 1. D次元に圧縮し、格子状に線を引く 4
手法 2. 単語ごとに格子を占める比率を計算 5 word 1, l = 1 の場合:
手法 2. 単語ごとに格子を占める比率を計算 6 word 1, l = 2 の場合:
word 1, l = 3 の場合:
手法 3. 多義語の度合いを示すスコアを計算 7 格子が粗くなるほどペナルティを与える
実験:多義語の度合いの順位付け - タスク:対象単語について多義語の度合いをラン キング - データ:English Wikipedia dump - 評価対象の単語選択
- English Wikipedia で頻度の高い上位2000単語を選択 - 3000文以上ある単語(2000→1822単語)を残す 8
実験:多義語の度合いの順位付け - 比較手法(Ground Truth) - WordNet:synset 数を多義語の度合いとする - WordNet-Reduced:WordNet の
synset 数を少なくした もの。synset 数を多義語の度合いとする - WordNet-Domains:WordNet に自動でドメインのラベル を割り振ったもの。ドメイン数が多義語の度合い 9
実験:多義語の度合いの順位付け - 比較手法(Ground Truth) - OntoNotes:様々なメディアのデータから構築。WordNet をまとめた inventory 数が多義語の度合い -
Oxford:Oxford Dictionary にある意味の数を数える - Wikipedia:「曖昧さ回避」にあるカテゴリの数を多義語の 度合いとした - 比較手法(Baseline) - frequency:高頻度ほど多義語 - random:対数正規分布に従いランダムに並べ替える 10
実験:多義語の度合いの順位付け - 提案手法 - 事前訓練済み ELMo の最終層から単語ベクトルを獲得 - D:PCA でベクトルの次元を圧縮(1024→2~20)
- 格子の線の数 L:2~19 11
実験:多義語の度合いの順位付け - 評価指標:6種類の指標で評価 - cosine similarity - Spearman’s rho -
Kendall’s tau - precision@k - Normalized Discounted Gain (NDCG): - Rank Biased Overlap (RBO): 12
結果:多義語の度合いの順位付け - Ground Truth(cos, NDCG は特に Wiki)との相 関が高く、2つの baseline も超えている
- その他の指標で評価した場合も同様 13
議論:パラメータ(縦軸:線の数 L, 横軸: 圧縮後の次元 D) - D=2~4, L=3,4~8 くらいで良い性能になる 14
線の数 L 圧縮後の次元 D
応用:異なる語義の抽出 - 同じ単語でも異なる格子のマスから取り出せば、 異なる語義の文を抽出できる - count:固有名詞, 番号, 数え上げ - live:住む,
ライブ - bank:銀行, 土手 15
結論 - 圧縮したベクトル空間に線を引いて、格子を占め る比率から単語の多義語の度合いを計算 - 単語の順位づけタスクで人手との相関を示す (クラスタリングと比較して欲しい) 16
手法:アイデア - 画像処理における pyramid matching と同じ 17 Beyond Bags of
Features: Spatial Pyramid Matching for Recognizing Natural Scene Categories. (Lazebnik+2006)
vs. クラスタリング - 文脈あり単語ベクトルも一様ではない - クラスタリングは空間に対して均等に分割をせず (密度ベース)、外れ値のクラスタも - クラスタ数=多義語の度合い は信頼できない
18 How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings (Ethayarajh2019)
実験:多義語の度合いの順位付け - 対象の1822単語のうち、Ground Truth で使えた 単語数 19
議論:単語の語義ごとに 意味の近い単語を抽出 - 単語の各語義が所属するマスの中で高頻度の単 語を取り出す - metal:鉱物, オリンピック, 音楽 20