Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

Yuto Kamiwaki
February 05, 2019

Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training

2019/02/06 文献紹介の発表内容

Yuto Kamiwaki

February 05, 2019
Tweet

More Decks by Yuto Kamiwaki

Other Decks in Research

Transcript

  1. Emo2Vec: Learning Generalized Emotion
    Representation by Multi-task Training
    Nagaoka University of Technology
    Yuto Kamiwaki
    Literature Review

    View Slide

  2. Literature
    ● Emo2Vec: Learning Generalized Emotion
    Representation by Multi-task Training
    ● Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park
    and Pascale Fung
    ● Proceedings of the 9th Workshop on Computational
    Approaches to Subjectivity, Sentiment and Social Media
    Analysis, 2018
    2

    View Slide

  3. 3
    ● 気圧が変化すると頭が痛い.
    ● あなたのことを考えると頭が痛い.

    View Slide

  4. Introduction
    4
    通常のWord embeddingで捉えられる:
    ● 発熱
    ● 頭痛
    ● 歯痛
    通常のWord embeddingで捉えられない:
    ● あなたのことを考えると頭が痛い.
    意味の近さは,捉えられる.

    View Slide

  5. ● 感情的な意味をベクトル化するEmo2Vecを提案.
    ● 既存の手法(SSWE,DeepMoji)よりも良い結果.
    ● GloVeと組み合わせると単純なロジスティック回帰分類器で
    いくつかのタスクのSoTAに匹敵する.
    5

    View Slide

  6. 6

    View Slide

  7. 7

    View Slide

  8. 8

    View Slide

  9. 9
    データ規模 Train[%] validation[%] test[%]
    Twitterのデータ 190万文 70 15 15

    View Slide

  10. learning rate : 0.001
    L2 regularization : 1.0
    batch size : 32
    ベースラインとしてSSWE,DeepMojiを使用.
    ● SSWE
    50次元のセンチメント固有のWord embedding
    意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート
    を学習した埋め込みモデル
    ● DeepMoji
    12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ
    ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている.
    DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10
    最良のモデルを保存し,
    埋め込み層をEmo2Vecの
    ベクトルとして使用.

    View Slide

  11. 11

    View Slide

  12. 12

    View Slide

  13. Conclusion
    ● マルチタスクトレーニングフレームワークを用いて感情をベク
    トルで表現するEmo2Vecを提案.
    ● 10を超える異なるデータセットに対する既存の心理関連の
    Word embeddingよりも優れている.
    ● Emo2VecとGloVeを組み合わせることで,ロジスティック回
    帰はいくつかのSoTAと互角の性能.
    13

    View Slide