文献紹介：Enhancing Modern Supervised Word Sense Disambiguation Models

Transcript

1. Enhancing Modern Supervised Word Sense Disambiguation Models Stefano Melacci , Achille Globo , Leonardo Rigutini 2019 1/21 文献紹介 長岡技術科学大学 自然言語処理研究室 福嶋　真也 Proceedings of the Eleventh International Conference on Language Resources and Evaluation (LREC-2018),p1012-1017 URL:http://aclweb.org/anthology/L18-1163
2. 2 Abstract • 語義曖昧性解消(WSD)において、教師あり学習のモデル は数々のベンチマークでSoTAを記録 • 言語資源を用いた教師あり学習のモデルの改善は行われ ていない • 最新の教師あり学習のモデルに言語資源の情報を組み込 むことでモデルの改善を確認した
3. 3 introduction • WSDに用いられる主な手法 ・教師あり学習の手法 ・知識ベースの手法
4. 4 introduction • WSDに用いられる主な手法 ・教師あり学習の手法 ・知識ベースの手法 最近の教師あり学習のモデルのいくつかは“It Makes Sense”(IMS)というフレームワークがベースになっている 他にも Context2Vec(C2V)モデルのようなRNNをベースと した手法が存在
5. 5 introduction • 主な言語資源 ・WordNet 　単語に1つ以上の意味が存在 　同義語はSynsetとしてグループ化されている ・WordNet Domains 　WordNetを約200個の意味ドメインラベルで拡張したもの
6. 6 introduction 今回は最新のIMSモデルに注目 言語資源とIMSモデルの関連性は研究されて いない →言語資源を活用して最新のIMSモデルを拡張
7. 7 Model IMSではSVMを用いて語義を決定 今回は3つの手法で実験を行う • IMS IMSのデフォルト • IMSWE • IMSC2V IMSに文脈のベクトルを加えたもの
8. 8 Model • 語義の決定に用いられる特徴 x:対象単語 xpos:周囲の単語の品詞 xlocCol:xの連語 xｓwords:xの周辺単語 xcontextEmb:xの文脈ベクトル xsem:xの意味的特徴（後述）
9. 9 Model • xsemについて WordNet,WordNet domainsから抽出した意味的特徴 今回は3パターンを用意 ・PR 最も可能性の高い語義 ・sSyn 対象単語の文脈中に出現するSynset（同義語のグループ）の 集合　 ・Dom 対象単語に関連する３つのドメイン
10. 10 Experiment • ５つのベンチマークで評価 ・Senseval2 ・Senseval3 ・SemEval2007 ・SemEval2013 ・SemEval20 • トレーニングデータ SemCorを使用
11. 11 Result • 全体での比較 ・ほとんどの場合で 意味的特徴が有利に働く ・特にドメイン関連の情報が 有用
12. 12 Result • 品詞ごとの比較 ・形容詞と動詞でのF1スコア が高いと全体でも結果が 良い All
13. 13 Conclusion • 語彙資源を用いたWSDモデルの増強を提案 • 意味的特徴がモデルの改善に重要な役割を果たすことが 分かった • WSDモデルの改善により、SoTAに匹敵する性能を出せた