Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

2019/02/06 文献紹介の発表内容

Transcript

1. Emo2Vec: Learning Generalized Emotion
   Representation by Multi-task Training
   Nagaoka University of Technology
   Yuto Kamiwaki
   Literature Review
   

   View Slide

2. Literature
   ● Emo2Vec: Learning Generalized Emotion
   Representation by Multi-task Training
   ● Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park
   and Pascale Fung
   ● Proceedings of the 9th Workshop on Computational
   Approaches to Subjectivity, Sentiment and Social Media
   Analysis, 2018
   2
   

   View Slide

3. 3
   ● 気圧が変化すると頭が痛い．
   ● あなたのことを考えると頭が痛い．
   

   View Slide

4. Introduction
   4
   通常のWord embeddingで捉えられる：
   ● 発熱
   ● 頭痛
   ● 歯痛
   通常のWord embeddingで捉えられない：
   ● あなたのことを考えると頭が痛い．
   意味の近さは，捉えられる．
   

   View Slide

5. ● 感情的な意味をベクトル化するEmo2Vecを提案．
   ● 既存の手法(SSWE，DeepMoji)よりも良い結果．
   ● GloVeと組み合わせると単純なロジスティック回帰分類器で
   いくつかのタスクのSoTAに匹敵する．
   5
   

   View Slide

6. View Slide

7. View Slide

8. View Slide

9. 9
   データ規模 Train[%] validation[%] test[%]
   Twitterのデータ 190万文 70 15 15
   

   View Slide

10. learning rate : 0.001
    L2 regularization : 1.0
    batch size : 32
    ベースラインとしてSSWE，DeepMojiを使用．
    ● SSWE
    50次元のセンチメント固有のWord embedding
    意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート
    を学習した埋め込みモデル
    ● DeepMoji
    12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ
    ル．埋め込み層は，暗黙のうちに感情の知識で符号化されている．
    DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用． 10
    最良のモデルを保存し，
    埋め込み層をEmo2Vecの
    ベクトルとして使用．
    

    View Slide

11. View Slide

12. View Slide

13. Conclusion
    ● マルチタスクトレーニングフレームワークを用いて感情をベク
    トルで表現するEmo2Vecを提案．
    ● 10を超える異なるデータセットに対する既存の心理関連の
    Word embeddingよりも優れている．
    ● Emo2VecとGloVeを組み合わせることで，ロジスティック回
    帰はいくつかのSoTAと互角の性能．
    13
    

    View Slide