Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Emo2Vec: Learning Generalized Emotion Represent...
Search
Yuto Kamiwaki
February 05, 2019
Research
0
110
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
210
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
110
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
130
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
250
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
79
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
150
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
110
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
150
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
250
Other Decks in Research
See All in Research
在庫管理のための機械学習と最適化の融合
mickey_kubo
3
1.1k
最適化と機械学習による問題解決
mickey_kubo
0
140
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
750
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
320
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
120
引力・斥力を制御可能なランダム部分集合の確率分布
wasyro
0
190
90 分で学ぶ P 対 NP 問題
e869120
18
7.6k
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
230
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
1.1k
Vision And Languageモデルにおける異なるドメインでの継続事前学習が性能に与える影響の検証 / YANS2024
sansan_randd
1
110
研究テーマのデザインと研究遂行の方法論
hisashiishihara
5
1.5k
Looking for Escorts in Sydney?
lunsophia
1
120
Featured
See All Featured
Site-Speed That Sticks
csswizardry
10
690
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
Code Reviewing Like a Champion
maltzj
524
40k
Done Done
chrislema
184
16k
Gamification - CAS2011
davidbonilla
81
5.4k
Fireside Chat
paigeccino
37
3.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
BBQ
matthewcrist
89
9.7k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13