文献紹介 8月6日

Transcript

1. 文献紹介(2017/08/06) 長岡技術科学大学 M1 桾澤 優希 Word Sense Disambiguation: A Unified Evaluation Framework and Empirical Comparison
2. 文献 ▪ 論文 ▪ Raganato, Alessandro and Camacho-Collados, Jose and Navigli, Roberto ▪ Word Sense Disambiguation: A Unified Evaluation Framework and Empirical Comparison ▪ Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers ▪ pp. 99-110 ▪ キーワード ▪ 語義曖昧性解消, Semeval 2
3. 概要 ▪ 各論文で様々なデータセットなどを用いて評価されることで 結果が散逸し正しい比較ができない問題について再評価 ▪ 各手法について統一したデータセットや前処理などを用い て評価するシステムを作り、それを用いて改めて評価 ▪ 知識ベースの語義曖昧性解消より教師あり学習による語 義曖昧性解消の精度が高いことを改めて確認 3
4. 導入 ▪ 語義曖昧性解消は人間の意味理解に横たわる重要な 問題 ▪ 画期的な改善の無さとWSDのシステムを統合することの 難しさから停滞 (de Lacalle and Agirre, 2015) ▪ 統一してフェアにシステムを評価するフレームワークがないため 4
5. 導入 ▪ 語義曖昧性解消のためのデータセットはたくさんある ▪ (Edmonds and Cotton, 2001; Snyder and Palmer, 2004; Navigli et al., 2007; Pradhan et al., 2007; Agirre et al., 2010a; Navigli et al., 2013; Moro and Navigli, 2015, interalia) ▪ 知識ベース語義曖昧性解消においてよく使われる WordNetのバージョンの違い ▪ 論文ごとに異なった前処理 5
6. 導入 ▪ WSDの統合された評価フレームワークを構築、提供 ▪ 統一されたフォーマットで標準化されたデータセット ▪ WordNet 3.0, 半自動でアノテーションされたデータ ▪ 同一の手法で前処理 ▪ 作った評価システムをもとに各WSDの手法を評価 ▪ SupervisedWSD ▪ Knowledge-based WSD 6
7. 理論 7 ▪ 評価システムの概要 ▪ SemEval-13と同じXMLのフォーマットで配布 ▪ 最新のWordNetを用いて自動で語義をannotateした後、 人手で正しいかどうかチェック ▪ Stanford CoreNLP toolkitでPOSタグ付与、 lemmatizationなどを行う ▪ 作られたシステムは以下でダウンロード可能 http://lcl.uniroma1.it/wsdeval
8. 理論 8 ▪ 各workshopなどで構築されたデータを訓練セット、 評価セットとして統合して使う
9. 各手法の説明 9 ▪ 教師あり語義曖昧性解消 ▪ IMS ▪ 周辺の出現単語、周辺単語のPOSタグ、単語の並び順 を考慮して上げたもの ▪ My brother has always taken a keen interest in my work . という文章があったとき ▪ 周辺単語は {account, economy, rate, take} が訓練データで周辺に出てきていた場合 <0, 0, 0, 1> ▪ POSタグは “My/PRP$ brother/NN has/VBZ always/RB taken/VBN a/DT keen/JJ interest/NN in/IN my/PRP$ work/NN ./.” なので <VBN, DT, JJ, NN, IN, PRP$, NN> ▪ コロケーションとして使うものは 位置が-2の単語 や 位置が1-2の単語であるため、 素性の一つとなる 位置が1-2 のものは “in my”
10. 各手法の説明 10 ▪ 教師あり語義曖昧性解消 ▪ IMS+Emb ▪ IMSに対して分散表現を素性として追加 ▪ Context2Vec ▪ まずbidirectional LSTMを用いてラベルの付与されていない コーパスを学習 ▪ その後ContextVectorを学習データから学習する ▪ テストデータのContextVectorと学習された語義のContextVectorについ て一番近いものを正解として出力
11. 各手法の説明 11 ▪ 知識ベースの語義曖昧性解消 ▪ Lesk ▪ 注目している単語の語義の説明や例の中で、一番コンテキスト(周囲の 単語やその語義セット)と重複する単語が多い語義を選ぶ ▪ 同じ文中の単語は共通のトピックを共有する傾向があることを利用 ▪ UKB ▪ 意味ネットワークを利用する グラフベースのWSDシステム
12. 実験 12 ▪ 各システムについて作成したフレームワークを通して評価 ▪ All-wordタスク (文中に含まれる複数の語義曖昧性を解消するタスク)
13. 実験 13