文献紹介：A Joint Segmentation and Classification Framework for Sentiment Analysis

動画
https://www.youtube.com/watch?v=PCKnqsgVu9M&list=PL6SnxjlP6lpHdWaieYa0BGVuj8fgfiIw1&index=45

Transcript

1. 文献紹介 2014/12/05 長岡技術科学大学 自然言語処理研究室 岡田 正平
2. 文献情報 Duyu Tang, Furu Wei, Bing Qin, Li Dong, Ting Liu and Ming Zhou A Joint Segmentation and Classification Framework for Sentiment Analysis In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp 477-487. 2014. 2014/12/05 文献紹介 2
3. 概要 • 典型的な sentiment classification (pipeline method) segmentation → classification – error propagation • segmentation error は classification に影響 e.g.)〈bad, not bad〉, 〈a great deal of, great〉 2014/12/05 文献紹介 3
4. 概要 • 典型的な sentiment classification (pipeline method) segmentation → classification • 提案手法 (joint segmentation and classification, JSC) segmentation classification 2014/12/05 文献紹介 4 sentiment-specific segmentor を学習
5. 概要 Joint segmentation and classification framework (JSC) 2014/12/05 文献紹介 5
6. 概要 • segmentation candidates をスコア付し，上位のものを 極性分類の素性として用いる • segmentation の極性を予測，segmentator の更新に利用 • 訓練データは極性情報のみ • SemEval 2013 の Twitter sentiment classification dataset にて state-of-the-art な手法と同等の性能を達成 2014/12/05 文献紹介 6
7. 手法
8. 手法 3種のモデルを利用 1. candidate generation model (CG) 2. segmentation ranking model (SEG) 3. sentiment classification model (SC) 2014/12/05 文献紹介 8
9. 手法 2014/12/05 文献紹介 9 iteration ※上向き矢印：update model 下向き矢印：use model
10. 手法 2014/12/05 文献紹介 10 iteration ※上向き矢印：update model 下向き矢印：use model
11. Candidate generation • phrase table による制約を用いたビーム探索を利用 • Mikolov et al., 2013 , = , − × ( ) – 閾値を設け，phrase table を取得 2014/12/05 文献紹介 11
12. Candidate generation • 分割数が少ない方から個を候補とする 2014/12/05 文献紹介 12
13. 手法 2014/12/05 文献紹介 13 iteration ※上向き矢印：update model 下向き矢印：use model
14. 手法 2014/12/05 文献紹介 14 iteration ※上向き矢印：update model 下向き矢印：use model
15. Segmentation ranking segmentation candidates に実数値のスコア付け 𝑖 = exp + � 𝑠𝑒𝑖 ⋅ 𝑘 𝑘 : 番目の文 Ω𝑖 : の番目の segmentation candidate 𝑖 : Ω𝑖 のスコア 𝑠𝑒𝑖 : Ω𝑖 の番目の素性 2014/12/05 文献紹介 15
16. Segmentation ranking 損失関数 𝑙𝑙 = − � log ∑ 𝑖 ∈ ∑ 𝑖 ′∈ + 2 2 =1 : 訓練事例 : に対する全 segmentation candidates : の segmentation candidates 中で 予測された極性が正解と一致しているもの 2014/12/05 文献紹介 16
17. Segmentation ranking 素性 𝑠𝑒𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) 2014/12/05 文献紹介 17
18. Segmentation ranking 素性 𝑠𝑒𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) 2014/12/05 文献紹介 18
19. Segmentation ranking 2014/12/05 文献紹介 19
20. Segmentation ranking 素性 𝑠𝑒𝑖 • Segmentation-Specific Feature • Phrase-Embedding Feature – Skip-Gram model (Mikolov et al., 2013) – classification model でも利用 2014/12/05 文献紹介 20
21. Segmentation ranking 畳み込み関数により導かれたベクトルの結合で表現される 𝑝 𝑠 = 𝑠 , 𝑚 𝑠 , 𝑎 (𝑠) 𝑝 𝑠 𝑥 = 𝑥 𝑠 𝑥 : 𝑥 の畳み込み関数 𝑠 : 結合された𝑠中の単語の列ベクトル : phrase embedding の lookup tabke 2014/12/05 文献紹介 21
22. 手法 2014/12/05 文献紹介 22 iteration ※上向き矢印：update model 下向き矢印：use model
23. 手法 2014/12/05 文献紹介 23 iteration ※上向き矢印：update model 下向き矢印：use model
24. Classification nodel • 訓練事例を用いて教師あり学習 2014/12/05 文献紹介 24
25. 手法 2014/12/05 文献紹介 25 iteration ※上向き矢印：update model 下向き矢印：use model
26. 実験
27. 実験 1 Twitter sentiment classification dataset in SemEval 2013 • 2値分類 (positive/negative) のみ 2014/12/05 文献紹介 27
28. 実験 1 2014/12/05 文献紹介 28
29. 実験 2 JSC と pipeline method の比較 pipeline 1: bag-of-words pipeline2: segmentation candidate with maximum phrase 2014/12/05 文献紹介 29
30. 実験 2 JSC と pipeline method の比較 PF: phrase embedding SF: segmentation-specific CF: classification-specific 2014/12/05 文献紹介 30
31. まとめ Joint segmentation and classification framework (JSC) state-of-the-art な手法と同等の精度達成 2014/12/05 文献紹介 31
32. References Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. 2013. Distributed representations of words and phrases and their compositionality. Conference on Neural Information Processing Systems. 2014/12/05 文献紹介 32