BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs

Transcript

1. BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs

   and LSTMs 長岡技術科学大学 自然言語処理研究室 上脇優人 Mathieu Cliche Bloomberg SemEval-2017 pp573-580 5月文献紹介 ※sentiment=感情としています

2. Abstract •内容は，SoTAを達成したTwitterの感情分類 器(CNNとLSTM)について． •最終的なCNNとLSTMは，再度fine tuneした SemEval-2017 Twitter datasetでトレー ニングした． •パフォーマンスを向上させるためにいくつかの

   CNNとLSTMを一緒に使う． •この手法は，40のチームの中で5つの英語のサ ブタスクで1位であった． 2

3. Introduction •Tweetの極性を決定するタスクは，タスクの 理解がしやすく，簡単な方法で良い結果を得る ことが可能． •SemEval-2017のコンペは，5つのサブタス ク． • （タスクの種類については，Rosenthal et al.,2017を参照）

   •深層学習の手法は，いくつかのNLPタスクで従 来の手法を大幅に凌駕していて感情分析も例外 でない． •感情分析においても有用な深層学習のCNNと LSTMを用いて（組み合わせたりして）感情分 類器を構築する． 3

4. CNN 4 Input: 単語にトークン化されたTweet 全体のツイートが ツイート内の単語の数×200の マトリクスにマッピングされる．

5. LSTM 5

6. Training •subtask A: • 49693 human labeled tweets •subtask C

   and E: • 30849 human labeled tweets •subtask B and D: • 18948 human labeled tweets •上記のデータの他に1億の英語のツイートを取 得し，500万のポジティブツイートと500万の ネガティブツイートのデータ抽出． ※:)等はポジティブになっている 6

7. Unsupervised training •取得した1億のラベルなしデータを使用． •学習に使用したモデルは，下記3種類のアルゴ リズム． • Word2vec • FastText •

   GloVe •全てのアルゴリズムにおいて論文著者が提供す るコードをデフォルトで使用． 7

8. Distant training •極性情報を追加するためにDistant training. •Distant trainingには、CNNを使用し，初 期値は教師なしフェーズで学習した embeddingを使用． •次に，抽出した500万のポジティブツイートと 500万のネガティブツイートのデータを用いて

   CNNをtrainingしてノイズを分類． 8

9. Supervised training •このtrainingでは，SemEval-2017から提 供されるhuman labeled tweetsを使用す る． •CNNとLSTMのembeddingの初期値は，前のフ ェーズでfine tuneされた

   embedding.(epoch:1~5) •モデルはTensorFlowで実装され、実験は GeForce GTX Titan X GPUで実行． •分散を軽減し、精度を向上させるために、10 のCNNと10のLSTMを統合． 9

10. Result 10

11. Result 11

12. Conclusion •SemEval-2017 Twitter sentiment analysis competitionのpaper． •Tweetの分類器を現代のtraining法に加えて 深層学習のモデルで実験した． •最後のモデルは，10のCNNと10のLSTMを用い た．（異なるハイパーパラメータ・トレーニン

    グ）． •参加したタスク全てで1位だった． 12

13. Future work •CNNとLSTMを組み合わせたモデルの探求 •unlabeled dataとdistant dataの量によ るモデルのパフォーマンスの変化の調査 13