文献紹介11月

Transcript

1. 文献紹介 (11月) 自然言語処理研究室 修士2年　　宮西　由貴
2. 文献情報 Employing Word Representations and Regularizati on for Domain Adaptation of Relation Extraction • 著者: Thien Huu Nguyen,RalphGrishman • Proceedings of the 52nd Annual Meeting of the Association f or Computational Linguistics(Short Paper), 2014, p 68-74
3. 概要 • 語の関係抽出(RE)タスクの分野適応に関する研究 • Word Representationとしてword embedding とクラスタリングを使用 • さらにRegularizationを行い結果を比較 • 3種類の実験を実行 1. word embeddingの素性の組み合わせに関する調査 2. word representationの組み合わせに関する調査 3. 2に追加して、Regularizationを行った場合の調査
4. 語の関係抽出(RE) • エンティティのペアに予め用意された関係ラベルを付与 • feature-based • kernel-based • 分野適合の問題が解決されていないという問題 • 現在REの分野適合に関する研究はひとつだけ • kernel-basedで構築されている • 以下の不明点が存在する • クラスタの粒度による影響が不明 • その手法がword embeddingなどの実数素性をエンコードできるか不明
5. 本研究で行うこと(概要) • feature-basedアプローチを用いる 1. 2つのword representation手法を組み合わせて実験を行う 2. 様々な単語素性を足し・引きして実験を行う 3. クラスタリングの粒度を変えて実験を行う
6. 本研究で行うこと(概要) • feature-basedアプローチを用いる 1. 2つのword representation手法を組み合わせて実験を行う 2. 様々な単語素性を足し・引きして実験を行う 3. クラスタリングの粒度を変えて実験を行う
7. Word Representation • 手法が2種類 • Brown word clustering • word embeding • word embeddingの言語モデルが2種類 • C&W embedding(Collober& Weston 2008) C&W ⇛ • Hierarchical log-bilinear embedding HLBL ⇛
8. 本研究で行うこと(概要) • feature-basedアプローチを用いる 1. 2つのword representation手法を組み合わせて実験を行う 2. 様々な単語素性を足し・引きして実験を行う 3. クラスタリングの粒度を変えて実験を行う 4. Regularizationを行う
9. 素性について(Baseline) • (Sun et al. 2011)で利用された素性を使用 • (Zhouet al.2005) +αの素性 • 人手でアノテーションされたデータが含まれている 今回は利用しない ⇛
10. 素性について(語彙素性) • 手順 • 4つの素性を定義する • 重要な素性順にランク付け (言語的な直感と実例をもちいる) • 実際に有効性を評価 • M1,M2は辞書の記述
11. 使用したコーパス • ACE 2005コーパス • 6種類の関係＋6種類の分野を含む • 6分野に分ける • ニュースの放送原稿(bn) • newswire(nw) • 放送の会話文(bc) • 電話の会話文(cts) • ウェブのログ(wl) • ネットニュース(un)
12. word embeddingの素性の組み合わせ (In domain)
13. word embeddingの素性の組み合わせ (O ut-of-domain)
14. word representationの組み合わせ
15. Regularizationを行った場合 <再掲>word representationの組み合わせ