Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Deep contextualized word representations

Deep contextualized word representations

文献紹介

katsutan

June 25, 2018
Tweet

More Decks by katsutan

Other Decks in Technology

Transcript

  1. Deep contextualized word representations Matthew E. Peters, Mark Neumann, Mohit

    Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer, Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), 2227--2237 自然言語処理研究室 勝田 哲弘
  2. Introduction • 従来の単語型の方法とは異なり、提案するモデルは入力文か ら各単語の表現を得る ◦ ELMo (Embeddings from Language Models)

    ◦ LSTMの線形結合を学習 • 低レベルの層が文法を、高レベルの層が語義の文脈依存を 捕捉することを示す結果となった 3
  3. ELMo: Embeddings from Language Models • 2層のbiLMに対して重み付けをしてword embeddingsを表現 する biLSTM

    biLSTM biLSTM biLSTM biLSTM biLSTM t1 t2 tN ELMo :各層の重み(softmax) :全体の重み 4
  4. Question answering • Stanford Question Answering Dataset (SQuAD) (Rajpurkar et

    al., 2016) • 100K+ のクラウドソーシングした質疑応答のペア • 答えはWikipediaの段落から与えられる 6
  5. Semantic role labeling • 述語構造解析 • “Who did what to

    whom”で解答する形が多い • OntoNotes benchmark (Pradhan et al., 2013) • SOTAはBIOタグ付けとしてモデル化 [He et al.(2017)] 8
  6. Named entity extraction • 固有表現抽出 • CoNLL 2003 NER task

    (Sang and Meulder, 2003) • 4つの異なるエンティティタイプ(PER、LOC、ORG、MISC)で タグ付けされたReuters RCV1コーパス 10
  7. Sentiment analysis • 感情分析 • Stanford Sentiment Treebank (SST-5; Socher

    et al., 2013) • 5つのラベルに分類(from very negative to very positive) 11