Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介20181126_Learning and Evaluating Interpretable Sentence Embeddings

T.Tada
November 26, 2018

文献紹介20181126_Learning and Evaluating Interpretable Sentence Embeddings

T.Tada

November 26, 2018
Tweet

More Decks by T.Tada

Other Decks in Technology

Transcript

  1. - 文献紹介 2018/11/26 - Learning and Evaluating Sparse Interpretable Sentence

    Embeddings 長岡技術科学大学 自然言語処理研究室 多田太郎
  2. About the thesis Authors : Valentin Trifonov, Octavian-Eugen Ganea, Anna

    Potapenko*, Thomas Hofmann ETH Zurich, Switzerland, National Research University Higher School of Economics, Russia* Conference : Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 200–210 2
  3. Models 2. Enforcing Sparsity during Embedding Learning  スパース化layerでdenseなベクトルZをsparseなベクトル Eに変換するように学習 ・k-Sparse

    0でない次元数kを固定したスパース表現 ・Sparsemax softmaxの応用,このsparseな確率分布を利用 上記kを固定しないため、各文に対して柔軟 7
  4. Experiments 1. Training Details ボキャブラリサイズ:20,000 word embeddings : 100 次元

    GRU(Cho et al. : 2014)を使用 入力と同じ文字列が出力される様に学習 2. Data ・the Cornell Movie-Dialogs Corpus: 500,000サンプル  (バリデーションとテストに50,000サンプルずつ) ・The MS COCO: 600,000サンプル 8
  5. A Quantitative and Automated Evaluation Metric 9 トピック内の単語対の平均単語距離を利用. Topic coherence

    :自動評価手法(Newman et al. 2010) をベースとする トピック内の単語ではなく,文ベクトル内の次元でランキングし、上位を使用. 合わせて全非0次元を考慮した場合の比較として、ランダムな選定でも実験.
  6. A Quantitative and Automated Evaluation Metric 類似度計算の手法 10 1. Jaccard

    Similarity 2. BoW Similarity 3. WMD Similarity The Word Mover’s Distance(Kusner et al. 2015) Word2Vevを利用したdocument distance measure
  7. Results 4. Downstream Tasks SentEval framework (Conneau et al. :

    2018)のMovie-Dialogsのみを用い実験 14