Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Emo2Vec: Learning Generalized Emotion Represent...
Search
Yuto Kamiwaki
February 05, 2019
Research
0
110
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
210
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
110
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
130
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
250
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
79
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
150
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
110
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
150
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
250
Other Decks in Research
See All in Research
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
言語モデルによるAI創薬の進展 / Advancements in AI-Driven Drug Discovery Using Language Models
tsurubee
2
370
Trust No Bot? Forging Confidence in AI for Software Engineering
tomzimmermann
1
240
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
240
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
990
実行環境に中立なWebAssemblyライブマイグレーション機構/techtalk-2025spring
chikuwait
0
220
Transparency to sustain open science infrastructure - Printemps Couperin
mlarrieu
1
170
Type Theory as a Formal Basis of Natural Language Semantics
daikimatsuoka
1
220
数理最適化に基づく制御
mickey_kubo
5
660
RapidPen: AIエージェントによるペネトレーションテスト 初期侵入全自動化の研究
laysakura
0
1.4k
SI-D案内資料_京都文教大学
ryojitakeuchi1116
0
1.6k
さくらインターネット研究所 アップデート2025年
matsumoto_r
PRO
0
640
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.8k
The Language of Interfaces
destraynor
158
25k
Unsuck your backbone
ammeep
671
58k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
4 Signs Your Business is Dying
shpigford
184
22k
The Pragmatic Product Professional
lauravandoore
35
6.7k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.4k
KATA
mclloyd
29
14k
It's Worth the Effort
3n
185
28k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13