Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Emo2Vec: Learning Generalized Emotion Represent...
Search
Yuto Kamiwaki
February 05, 2019
Research
0
120
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
210
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
110
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
130
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
260
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
82
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
160
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
110
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
150
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
250
Other Decks in Research
See All in Research
Pythonでジオを使い倒そう! 〜それとFOSS4G Hiroshima 2026のご紹介を少し〜
wata909
0
970
Language Models Are Implicitly Continuous
eumesy
PRO
0
300
不確実性下における目的と手段の統合的探索に向けた連続腕バンディットの応用 / iot70_gp_rff_mab
monochromegane
2
190
診断前の病歴テキストを対象としたLLMによるエンティティリンキング精度検証
hagino3000
1
150
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
2k
まずはここから:Overleaf共同執筆・CopilotでAIコーディング入門・Codespacesで独立環境
matsui_528
2
620
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
930
論文読み会 SNLP2025 Learning Dynamics of LLM Finetuning. In: ICLR 2025
s_mizuki_nlp
0
280
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
160
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
8.8k
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
120
ip71_contraflow_reconfiguration
stkmsd
0
110
Featured
See All Featured
Building Adaptive Systems
keathley
44
2.8k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Designing Experiences People Love
moore
142
24k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
16
1.7k
The Cost Of JavaScript in 2023
addyosmani
55
9k
Leading Effective Engineering Teams in the AI Era
addyosmani
6
450
Site-Speed That Sticks
csswizardry
12
900
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Bash Introduction
62gerente
615
210k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.5k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Into the Great Unknown - MozCon
thekraken
40
2.1k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13