Retrofitting Contextualized Word Embeddings with Paraphrases

文献紹介
https://www.aclweb.org/anthology/D19-1113.pdf

長岡技術科学大学
勝田 哲弘

Transcript

1. 文献紹介
   RETROFITTING CONTEXTUALIZED WORD
   EMBEDDINGS WITH PARAPHRASES
   Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint
   Conference on Natural Language Processing, pages 1198–1203, Hong Kong, China, November 3–7, 2019.
   長岡技術科学大学
   勝田 哲弘
   

   View Slide

2. ABSTRACT
    ELMoなどの文脈化された単語埋め込みモデルは、単語とその文脈の意味表現を生成
    多くの場合、文脈を言い換えると、文脈に応じた単語の埋め込みが大幅に変わります
    文脈化された単語埋め込みモデルの安定性を強化するために、文脈化された埋め込みモデル
   を言い換え文脈で改造するアプローチを提案
    言い換え空間での単語表現の分散を最小化しようとする入力空間での直交変換を学習
    元のELMoを上回る性能を達成
   2
   

   View Slide

3. INTRODUCTION
    文脈化された埋め込みは効果的であるが、言語モデルベースの埋め込みモデルであるELMoでは、文脈
   の意味的等価性を正確に表すことができない
    単語の文脈が同等または類似の意味を持っているが、文の構成または単語の順序がことなる場合、
   ELMoは単語に異なる表現を割り当てることがある
   3
   

   View Slide

4. INTRODUCTION
    任意の事前学習された文脈化された埋め込みに適用できる、シン
   プルで効果的なparaphrase-aware retrofitting（PAR）メソッドを提案
    PARは、直交変換レイヤーを文脈化された埋め込みモデルに追加
    PARは変換を学習して、言い換えられた文脈内の共有語の文脈化
   された表現の違いを最小化し、他の文脈と区別させる
   4
   

   View Slide

5. PARAPHRASE-AWARE RETROFITTING
    入力空間で直交変換を学習することにより、言い換えコンテキストの制約をコンテキスト化された単語
   の埋め込みに統合
   5
   

   View Slide

6. CONTEXTUALIZED WORD EMBEDDINGS
    S：長さlの単語列
    文脈化された埋め込みモデルEは、Sの単語の入力ベクトルを受け取り、各単
   語のコンテキスト固有の表現を計算
    文Sに固有の単語wの表現は、E(w,S)
   6
   

   View Slide

7. PARAPHRASE-AWARE RETROFITTING
    PARは、直交表現M∈Rk×kを学習して、入力表現を特定の空間に再形成
    入力表現wのコンテキストの違いはL2距離によって定義
    Hinge loss(LH):
    Regularization:
    Learning objective of PAR
   7
   

   View Slide

8. EXPERIMENT
    PARをELMoに適用し、広範な文レベルのタスクとadversarial SQuADコーパス
   で、改造されたELMoの品質を評価
    パラメータの設定は論文を参照
    Evaluation
    SentEval framework
    two baselines models:
    (1) ELMo (all layers) 3,074-dimensional sentence embedding by averaging all layers.
    (2) ELMo (top layers) 1,024 dimensional vector by averaging of the top layer.
   8
   

   View Slide

9. TASK DESCRIPTIONS
    Sentence classification tasks
    4つの文分類タスク（感情分析、製品レビュー、意見の極性）
    Sentence inference tasks
    言い換えの特定、テキストの含意
    Semantic textual similarity tasks, Semantic relatedness tasks
    0から5までの人間のラベル付けされたスコアに基づいて2つの文の意味的関連性の程度を測定
    Adversarial SQuAD
   9
   

   View Slide

10. RESULT ANALYSIS
     PARが文分類タスクと文推論タスクの精度を2％〜4％改善する
    10
    

    View Slide

11. RESULT ANALYSIS
     質問応答タスクのパフォーマンスを著しく改善する
    11
    

    View Slide

12. CASE STUDY
     共有語の平均埋め込み距離
    12
    

    View Slide

13. CONCLUSION
     言い換えからの意味的等価性情報を活用する、文脈化された単語
    の埋め込みを改良する方法の提案
     PARは、言い換えられていない文脈上の変化を損なうことなく、
    言い換えられたコンテキスト上の共有語の表現を近づけることに
    より、既存のモデルの入力空間の直交変換を学習します。
     semanticタスクを幅広く選択することにより、この方法がELMoに
    適用されることの有効性を示します
    13
    

    View Slide