Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

Transcript

1. Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University

   of Technology Yuto Kamiwaki Literature Review

2. Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

   • Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2

3. 3 • 気圧が変化すると頭が痛い． • あなたのことを考えると頭が痛い．

4. Introduction 4 通常のWord embeddingで捉えられる： • 発熱 • 頭痛 • 歯痛

   通常のWord embeddingで捉えられない： • あなたのことを考えると頭が痛い． 意味の近さは，捉えられる．

5. • 感情的な意味をベクトル化するEmo2Vecを提案． • 既存の手法(SSWE，DeepMoji)よりも良い結果． • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する． 5

6. 6

7. 7

8. 8

9. 9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15

10. learning rate : 0.001 L2 regularization : 1.0 batch size

    : 32 ベースラインとしてSSWE，DeepMojiを使用． • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル．埋め込み層は，暗黙のうちに感情の知識で符号化されている． DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用． 10 最良のモデルを保存し， 埋め込み層をEmo2Vecの ベクトルとして使用．

11. 11

12. 12

13. Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案． • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている． • Emo2VecとGloVeを組み合わせることで，ロジスティック回

    帰はいくつかのSoTAと互角の性能． 13