Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
Yuto Kamiwaki
May 29, 2018
Research
0
190
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
2018/05/30文献紹介の発表内容
Yuto Kamiwaki
May 29, 2018
Tweet
Share
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
yuto_kamiwaki
0
85
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
150
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
93
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
100
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
130
Sentiment Analysis: It’s Complicated!
yuto_kamiwaki
0
54
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
84
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
68
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
100
Other Decks in Research
See All in Research
第9回チャンピオンズミーティング・カプリコーン杯ラウンド2集計 / Umamusume Capricorn 2022 Round2
kitachan_black
0
1.6k
OSSベースでのRパッケージ開発のすすめ / rjpusers2021rpkgdev
s_uryu
0
590
第8回チャンピオンズミーティング・サジタリウス杯ラウンド2集計 / Umamusume Sagittarius 2021 Round2
kitachan_black
0
1.7k
2021年度官庁訪問に関するアンケート調査
xkasumi
0
260
Stock Prediction Using Facebook Sentiment with Python
tlyu0419
0
110
Mip-NeRF ICCV2021輪読会スライド
daigo0927
1
230
Output Image - 10INC.
10inc
0
200
統計・機械学習若手シンポジウム
masakat0
2
1.8k
第10回チャンピオンズミーティング・アクエリアス杯ラウンド2集計 / Umamusume Aquarius 2022 Round2
kitachan_black
0
1.1k
会社訪問アプリ「Wantedly Visit」のデータで見る相互推薦システム / deim2022-rrs-wantedly-visit
yuya4
0
740
生成的モデリングによる集合データのVisual Analytics(博士論文公聴会)
ae14watanabe
4
880
ABCIで回そう爆速深層学習 (基礎編)
yoshipon
8
4.4k
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
56
2.3k
Mobile First: as difficult as doing things right
swwweet
212
7.5k
The Brand Is Dead. Long Live the Brand.
mthomps
45
2.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
181
15k
The Mythical Team-Month
searls
208
39k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
236
1M
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
237
19k
The Art of Programming - Codeland 2020
erikaheidi
31
5.8k
Side Projects
sachag
449
37k
Typedesign – Prime Four
hannesfritz
33
1.3k
The Invisible Side of Design
smashingmag
289
48k
Done Done
chrislema
174
14k
Transcript
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs
and LSTMs 長岡技術科学大学 自然言語処理研究室 上脇優人 Mathieu Cliche Bloomberg SemEval-2017 pp573-580 5月文献紹介 ※sentiment=感情としています
Abstract •内容は,SoTAを達成したTwitterの感情分類 器(CNNとLSTM)について. •最終的なCNNとLSTMは,再度fine tuneした SemEval-2017 Twitter datasetでトレー ニングした. •パフォーマンスを向上させるためにいくつかの
CNNとLSTMを一緒に使う. •この手法は,40のチームの中で5つの英語のサ ブタスクで1位であった. 2
Introduction •Tweetの極性を決定するタスクは,タスクの 理解がしやすく,簡単な方法で良い結果を得る ことが可能. •SemEval-2017のコンペは,5つのサブタス ク. • (タスクの種類については,Rosenthal et al.,2017を参照)
•深層学習の手法は,いくつかのNLPタスクで従 来の手法を大幅に凌駕していて感情分析も例外 でない. •感情分析においても有用な深層学習のCNNと LSTMを用いて(組み合わせたりして)感情分 類器を構築する. 3
CNN 4 Input: 単語にトークン化されたTweet 全体のツイートが ツイート内の単語の数×200の マトリクスにマッピングされる.
LSTM 5
Training •subtask A: • 49693 human labeled tweets •subtask C
and E: • 30849 human labeled tweets •subtask B and D: • 18948 human labeled tweets •上記のデータの他に1億の英語のツイートを取 得し,500万のポジティブツイートと500万の ネガティブツイートのデータ抽出. ※:)等はポジティブになっている 6
Unsupervised training •取得した1億のラベルなしデータを使用. •学習に使用したモデルは,下記3種類のアルゴ リズム. • Word2vec • FastText •
GloVe •全てのアルゴリズムにおいて論文著者が提供す るコードをデフォルトで使用. 7
Distant training •極性情報を追加するためにDistant training. •Distant trainingには、CNNを使用し,初 期値は教師なしフェーズで学習した embeddingを使用. •次に,抽出した500万のポジティブツイートと 500万のネガティブツイートのデータを用いて
CNNをtrainingしてノイズを分類. 8
Supervised training •このtrainingでは,SemEval-2017から提 供されるhuman labeled tweetsを使用す る. •CNNとLSTMのembeddingの初期値は,前のフ ェーズでfine tuneされた
embedding.(epoch:1~5) •モデルはTensorFlowで実装され、実験は GeForce GTX Titan X GPUで実行. •分散を軽減し、精度を向上させるために、10 のCNNと10のLSTMを統合. 9
Result 10
Result 11
Conclusion •SemEval-2017 Twitter sentiment analysis competitionのpaper. •Tweetの分類器を現代のtraining法に加えて 深層学習のモデルで実験した. •最後のモデルは,10のCNNと10のLSTMを用い た.(異なるハイパーパラメータ・トレーニン
グ). •参加したタスク全てで1位だった. 12
Future work •CNNとLSTMを組み合わせたモデルの探求 •unlabeled dataとdistant dataの量によ るモデルのパフォーマンスの変化の調査 13