文献紹介: A Document Descriptor using Covariance of Word Vectors

Transcript

1. A Document Descriptor using Covariance of Word Vectors 文献紹介 2019/02/27

   長岡技術科学大学 自然言語処理研究室 稲岡 夢人

2. Literature 2 Title A Document Descriptor using Covariance of Word

   Vectors Author Marwan Torki Volume Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 527-532, 2018.

3. Abstract  単語ベクトルを用いた固定長の文書表現を提案 (Document-Covariance Descriptor; DoCoV) → Supervised, Unsupervisedのアプリケーションで 簡単に利用できる

    様々なタスクでSoTAに匹敵する性能 3

4. Introduction  ベクトルを利用した文書検索には長い歴史がある ← Bag-of-Words, Latent Semantic Indexing(LSI)  近年はニューラル言語モデルで単語埋め込みを学習

    単語ではなく文, 段落, 文書の分散表現も注目されている 4

5. vs. DoCoV  doc2vecやFastSentは 単語と共通の空間  共分散は単語の密度の 形状を符号化 5

6. vs. DoCoV  doc2vecやFastSentは学習に時間がかかる  DoCoV(共分散)の計算は並列性が高く高速に行える 6

7. DoCoV  Document Observation Matrix d次元の単語埋め込みとn単語の文書において ∈ ×と定義 (行は単語、列は埋め込みの各次元) 7

8. DoCoV  Covariance Matrix 8

9. DoCoV  Vectorized representation 9

10. Evaluation  IMDB movie reviewsの分類性能によって 単語ベクトルによる変化を評価  ベクトルを線形SVMで分類  1つのレビューは複数の文で構成される

     Train/Test/Unlabeled : 25K/25K/50K  事前学習済みのword2vec, GloVeと、 TrainとUnlabeledで学習したword2vecで比較 10

11. Result 11

12. Result 12

13. Result 13

14. Result 14

15. Evaluation  文の意味関連性データセットSICK, STS 2014で 文書ベクトルを評価  事前学習済みの単語埋め込みを使用 (dim=300) 

    Pearson correlationとSpearman correlationで評価 15

16. Result 学習が必要な他手法と匹敵するような結果 16

17. Evaluation  Google newsで事前学習済みの単語埋め込みを使用  Movie Reviews(MR), Subjectivity(Subj), Customer Reviews(CR),

    TREC Question(TREC)を データセットとして使用 17

18. Result 18

19. Result 19

20. Result 20

21. Result 21

22. Conclusions  文、段落、文書の新たなベクトル表現方法を提案  他手法のような反復の学習を必要としない  Supervised, Unsupervisedのタスクにおいて その有用性を確認 22