Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

Fb31b0b39ecedd2353fa1a6e68200449?s=47 Yuto Kamiwaki
February 05, 2019

Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

2019/02/06 文献紹介の発表内容

Fb31b0b39ecedd2353fa1a6e68200449?s=128

Yuto Kamiwaki

February 05, 2019
Tweet

Transcript

  1. Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University

    of Technology Yuto Kamiwaki Literature Review
  2. Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

    • Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
  3. 3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.

  4. Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛

    通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
  5. • 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5

  6. 6

  7. 7

  8. 8

  9. 9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15

  10. learning rate : 0.001 L2 regularization : 1.0 batch size

    : 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
  11. 11

  12. 12

  13. Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回

    帰はいくつかのSoTAと互角の性能. 13