Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:Enhancing Modern Supervised Word Sense Disambiguation Models
Search
masaya82
January 21, 2019
0
110
文献紹介:Enhancing Modern Supervised Word Sense Disambiguation Models
masaya82
January 21, 2019
Tweet
Share
More Decks by masaya82
See All by masaya82
文献紹介 : More is not always better: balancing sense distributions for all-words
masaya82
0
94
文献紹介:The Word Sense Disambiguation Test Suite at WMT18
masaya82
0
59
文献紹介:Preposition Sense Disambiguation and Representation
masaya82
0
90
文献紹介:Word Sense Disambiguation Based on Word Similarity Calculation Using Word Vector Representation from a Knowledge-based Graph
masaya82
0
110
Distributional Lesk: Effective Knowledge-Based Word Sense Disambiguation
masaya82
0
74
Japanese all-words WSD system using the Kyoto Text Analysis ToolKit
masaya82
0
70
Improving Word Sense Disambiguation in Neural Machine Translation with Sense Embeddings
masaya82
0
77
Learning_to_Identify_the_Best_Contexts_for_Knowledge-based_WSD
masaya82
0
85
Using Linked Disambiguated Distributional Networks for Word Sense Disambiguation
masaya82
0
52
Featured
See All Featured
From Idea to $5000 a Month in 5 Months
shpigford
376
45k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
14
1.3k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
18
1.7k
Building Your Own Lightsaber
phodgson
97
5.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
950
Producing Creativity
orderedlist
PRO
335
39k
The Cult of Friendly URLs
andyhume
73
5.6k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
272
12k
No one is an island. Learnings from fostering a developers community.
thoeni
14
2k
Mobile First: as difficult as doing things right
swwweet
215
8.5k
How GitHub (no longer) Works
holman
301
140k
A Tale of Four Properties
chriscoyier
150
22k
Transcript
Enhancing Modern Supervised Word Sense Disambiguation Models Stefano Melacci ,
Achille Globo , Leonardo Rigutini 2019 1/21 文献紹介 長岡技術科学大学 自然言語処理研究室 福嶋 真也 Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018),p1012-1017 URL:http://aclweb.org/anthology/L18-1163
2 Abstract • 語義曖昧性解消(WSD)において、教師あり学習のモデル は数々のベンチマークでSoTAを記録 • 言語資源を用いた教師あり学習のモデルの改善は行われ ていない • 最新の教師あり学習のモデルに言語資源の情報を組み込
むことでモデルの改善を確認した
3 introduction • WSDに用いられる主な手法 ・教師あり学習の手法 ・知識ベースの手法
4 introduction • WSDに用いられる主な手法 ・教師あり学習の手法 ・知識ベースの手法 最近の教師あり学習のモデルのいくつかは“It Makes Sense”(IMS)というフレームワークがベースになっている 他にも
Context2Vec(C2V)モデルのようなRNNをベースと した手法が存在
5 introduction • 主な言語資源 ・WordNet 単語に1つ以上の意味が存在 同義語はSynsetとしてグループ化されている ・WordNet Domains WordNetを約200個の意味ドメインラベルで拡張したもの
6 introduction 今回は最新のIMSモデルに注目 言語資源とIMSモデルの関連性は研究されて いない →言語資源を活用して最新のIMSモデルを拡張
7 Model IMSではSVMを用いて語義を決定 今回は3つの手法で実験を行う • IMS IMSのデフォルト • IMSWE •
IMSC2V IMSに文脈のベクトルを加えたもの
8 Model • 語義の決定に用いられる特徴 x:対象単語 xpos:周囲の単語の品詞 xlocCol:xの連語 xswords:xの周辺単語 xcontextEmb:xの文脈ベクトル xsem:xの意味的特徴(後述)
9 Model • xsemについて WordNet,WordNet domainsから抽出した意味的特徴 今回は3パターンを用意 ・PR 最も可能性の高い語義 ・sSyn
対象単語の文脈中に出現するSynset(同義語のグループ)の 集合 ・Dom 対象単語に関連する3つのドメイン
10 Experiment • 5つのベンチマークで評価 ・Senseval2 ・Senseval3 ・SemEval2007 ・SemEval2013 ・SemEval20 •
トレーニングデータ SemCorを使用
11 Result • 全体での比較 ・ほとんどの場合で 意味的特徴が有利に働く ・特にドメイン関連の情報が 有用
12 Result • 品詞ごとの比較 ・形容詞と動詞でのF1スコア が高いと全体でも結果が 良い All
13 Conclusion • 語彙資源を用いたWSDモデルの増強を提案 • 意味的特徴がモデルの改善に重要な役割を果たすことが 分かった • WSDモデルの改善により、SoTAに匹敵する性能を出せた