Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Emo2Vec: Learning Generalized Emotion Represent...
Search
Yuto Kamiwaki
February 05, 2019
Research
0
120
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
210
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
110
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
130
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
260
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
82
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
160
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
110
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
150
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
250
Other Decks in Research
See All in Research
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
660
20250605_新交通システム推進議連_熊本都市圏「車1割削減、渋滞半減、公共交通2倍」から考える地方都市交通政策
trafficbrain
0
850
ip71_contraflow_reconfiguration
stkmsd
0
110
財務諸表監査のための逐次検定
masakat0
0
120
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
120
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
350
AIスパコン「さくらONE」のLLM学習ベンチマークによる性能評価 / SAKURAONE LLM Training Benchmarking
yuukit
2
680
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
260
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
62
31k
AlphaEarth Foundations: An embedding field model for accurate and efficient global mapping from sparse label data
satai
3
330
長期・短期メモリを活用したエージェントの個別最適化
isidaitc
0
170
PhD Defense 2025: Visual Understanding of Human Hands in Interactions
tkhkaeio
1
250
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Become a Pro
speakerdeck
PRO
29
5.5k
Code Review Best Practice
trishagee
72
19k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
162
15k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
61k
Scaling GitHub
holman
463
140k
The Invisible Side of Design
smashingmag
301
51k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13