Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
Search
Yuto Kamiwaki
February 05, 2019
Research
0
99
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
2019/02/06 文献紹介の発表内容
Yuto Kamiwaki
February 05, 2019
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
190
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
96
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
130
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
190
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
70
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
120
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
93
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
140
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
230
Other Decks in Research
See All in Research
自己教師あり学習による事前学習(CVIMチュートリアル)
naok615
2
1.4k
F0に基づいて伸縮された画像文字からの音声合成 [ASJ2024春]
nehi0615
0
120
方策の長期性能に対する効率的なオフライン評価・学習 (Long-term Off-Policy Evaluation and Learning)
usaito
PRO
0
110
20240127_熊本から今いちど真面目に都市交通~めざせ「車1割削減、渋滞半減、公共交通2倍」~ 全国路面電車サミット2024宇都宮
trafficbrain
1
650
20240209 データを肴に熊本の交通を考える会「車1割削減、渋滞半減、公共交通2倍」をめざし世界に学ぼう
trafficbrain
0
770
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
2
520
Azure Arc-enabled Serversを利用した ハイブリッド・マルチクラウド環境の管理 / Managing Hybrid Multi-cloud Environments with Azure Arc-enabled Servers
nttcom
0
210
リサーチに組織を巻き込むための「準備8割」の話
terasho
0
460
Cross-Media Information Spaces and Architectures
signer
PRO
0
120
動物倫理学ことはじめ:人間以外の動物との倫理的な付き合い方を考える
takeshit_m
0
280
Deep State Space Models 101 / Mamba
kurita
9
3.4k
論文紹介 DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction / DISN: Deep Implicit Surface Network for High quality Single-view 3D Reconstruction
nttcom
0
110
Featured
See All Featured
What the flash - Photography Introduction
edds
64
11k
Learning to Love Humans: Emotional Interface Design
aarron
266
39k
Stop Working from a Prison Cell
hatefulcrawdad
266
19k
The Art of Programming - Codeland 2020
erikaheidi
41
12k
Side Projects
sachag
451
41k
The MySQL Ecosystem @ GitHub 2015
samlambert
242
12k
StorybookのUI Testing Handbookを読んだ
zakiyama
11
4.6k
Design by the Numbers
sachag
274
18k
A Tale of Four Properties
chriscoyier
150
22k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
20
1.6k
Fantastic passwords and where to find them - at NoRuKo
philnash
36
2.5k
Automating Front-end Workflow
addyosmani
1355
200k
Transcript
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training Nagaoka University
of Technology Yuto Kamiwaki Literature Review
Literature • Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
• Peng Xu, Andrea Madotto, Chien-Sheng Wu, Ji Ho Park and Pascale Fung • Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, 2018 2
3 • 気圧が変化すると頭が痛い. • あなたのことを考えると頭が痛い.
Introduction 4 通常のWord embeddingで捉えられる: • 発熱 • 頭痛 • 歯痛
通常のWord embeddingで捉えられない: • あなたのことを考えると頭が痛い. 意味の近さは,捉えられる.
• 感情的な意味をベクトル化するEmo2Vecを提案. • 既存の手法(SSWE,DeepMoji)よりも良い結果. • GloVeと組み合わせると単純なロジスティック回帰分類器で いくつかのタスクのSoTAに匹敵する. 5
6
7
8
9 データ規模 Train[%] validation[%] test[%] Twitterのデータ 190万文 70 15 15
learning rate : 0.001 L2 regularization : 1.0 batch size
: 32 ベースラインとしてSSWE,DeepMojiを使用. • SSWE 50次元のセンチメント固有のWord embedding 意味情報と感情情報の両方をベクトルに符号化することによって1000万ツイート を学習した埋め込みモデル • DeepMoji 12億のツイートの巨大なデータセットを使って入力文書の絵文字を予測するモデ ル.埋め込み層は,暗黙のうちに感情の知識で符号化されている. DeepMojiの256次元埋め込み層であるDeepMojiのWord embedingを使用. 10 最良のモデルを保存し, 埋め込み層をEmo2Vecの ベクトルとして使用.
11
12
Conclusion • マルチタスクトレーニングフレームワークを用いて感情をベク トルで表現するEmo2Vecを提案. • 10を超える異なるデータセットに対する既存の心理関連の Word embeddingよりも優れている. • Emo2VecとGloVeを組み合わせることで,ロジスティック回
帰はいくつかのSoTAと互角の性能. 13