Speaker Deck
Speaker Deck Pro
Sign in
Sign up
for free
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
Yuto Kamiwaki
February 05, 2019
Research
0
68
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
yuto_kamiwaki
1
110
yuto_kamiwaki
0
87
yuto_kamiwaki
0
75
yuto_kamiwaki
0
87
yuto_kamiwaki
0
46
yuto_kamiwaki
0
57
yuto_kamiwaki
0
58
yuto_kamiwaki
0
91
yuto_kamiwaki
0
150
Other Decks in Research
See All in Research
usaito
4
1.5k
yuichiroh
0
110
racterub
0
140
scatterlab
0
1.2k
scatterlab
0
1.3k
shinyorke
1
320
sei88888
0
210
sei88888
4
290
mihozono
16
9.5k
jriely
0
220
shunk031
4
960
yushiku
3
3.4k
Featured
See All Featured
searls
204
35k
malarkey
119
16k
brettharned
93
3k
holman
288
130k
brianwarren
83
4.7k
malarkey
393
60k
robhawkes
52
2.8k
geoffreycrofte
18
770
jlugia
216
16k
addyosmani
310
21k
kastner
54
1.9k
brad_frost
156
6.4k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13