文献紹介：An Empirical Study on the Effect of Negation words on Sentiment

動画
http://youtu.be/IVxnsCM2AQM?list=UUhwtfJp9l_thFbFDWXoGWEQ

Transcript

1. 文献紹介 2014/09/09 長岡技術科学大学 自然言語処理研究室 岡田 正平
2. 文献情報 Xiaodan Zhu, Hongyu Guo, Saif Mohammad and Svetlana Kiritchenko An Empirical Study on the Effect of Negation Words on Sentiment In Proceedings of the 52nd ACL, pp 304-313. 2014. 2014/9/9 文献紹介 2
3. 概要 • 感情解析における否定語の振舞いに関する定量的な調査 – 否定語：no, not 等 • これまで用いられてきたヒューリスティクス – 否定語の効果は修飾する句の極性のみに依存する 否定語の振舞いを充分に扱えていない • 否定語や修飾する句に依存させることで性能改善 2014/9/9 文献紹介 3
4. 背景
5. 背景 • 感情解析において否定語が与える影響の理解は不可欠 • 単純な仮説 – 否定語は修飾するテキストの極性を反転させる (Polanyi and Zaenen, 2004; Kennedy and Inkpen, 2006) – sentiment value を一定値シフトさせる shifting hypothesis (Taboada et al., 2011) 2014/9/9 文献紹介 5
6. 背景 • Stanford Sentiment Treebank (Socher et al., 2013) – 構文木中の全 phrase に sentiment score を 人手でアノテーション – 感情解析における初の完全なラベル付き構文木 – 11,855文，215,154 unique phrases – http://nlp.stanford.edu/sentiment 2014/9/9 文献紹介 6
7. 背景 Stanford Sentiment Treebank における否定語の振舞い 横軸：被修飾句 (argument)の sentiment value 縦軸：否定語+被修飾句 (negated phrase) の sentiment value 2014/9/9 文献紹介 7
8. 背景 • 極性の反転は，振舞いの一部のみしか捉えていない – reversing hypothesis は不十分 • 被修飾句自体は同じ sentiment value をとっても 否定語を伴うことで異なる sentiment value – shifting hypothesis でも不十分 2014/9/9 文献紹介 8
9. 背景 • この論文では... – 既存のヒューリスティクスの性能評価 – 既存のヒューリスティクスの拡張・評価 – state-of-the-artな手法の性能評価 – state-of-the-artな手法の拡張・評価 2014/9/9 文献紹介 9
10. Negation models
11. Negation models • : argument • : negator • () : argument の sentiment score • ( , ) : negated phrase の sentiment score
12. Models based on heuristics • Non-lexicalized assumptions and modeling – Reversing hypothesis – Shifting hypothesis • Basic shifting • Polarity-based shifting • Simple lexicalized assumption – Negator-based shifting – Combined shifting 2014/9/9 文献紹介 12
13. Models based on heuristics • Non-lexicalized assumptions – Reversing hypothesis – Shifting hypothesis • Basic shifting • Polarity-based shifting • Simple lexicalized assumption – Negator-based shifting – Combined shifting 2014/9/9 文献紹介 13
14. Non-lexicalized assumption • 既存の手法のモデル , ≝ ( ) • argument の sentiment score のみに依存するモデル 2014/9/9 文献紹介 14
15. Non-lexicalized assumption • Reversing hypothesis = −() • Shifting hypothesis – Basic shifting = − ∗ – Polarity-based shifting = − ∗ ( ) 2014/9/9 文献紹介 15
16. Non-lexicalized assumption • Reversing hypothesis = −() • Shifting hypothesis – Basic shifting = − ∗ – Polarity-based shifting = − ∗ ( ) 2014/9/9 文献紹介 16
17. Models based on heuristics • Non-lexicalized assumptions and modeling – Reversing hypothesis – Shifting hypothesis • Basic shifting • Polarity-based shifting • Simple lexicalized assumption – Negator-based shifting – Combined shifting 2014/9/9 文献紹介 17
18. Simple lexicalized assumption • non-lexicalized model を拡張 , ≝ ( , ) • nagatorにも依存するモデル 2014/9/9 文献紹介 18
19. Simple lexicalized assumption • Nagator-based shifting , = − ∗ ( ) • Combined shifting , = − ∗ ( , ) • パラメータ数は増加するが過学習を起こさずに性能向上 2014/9/9 文献紹介 19
20. Semantics-enriched modeling • argument 自身に依存するモデル , ≝ , , • (): argument の何かしらの表現 2014/9/9 文献紹介 20
21. Semantics-enriched modeling • ()をどう実装するか？ – recursive neural tensor network (RNTN) • Socher et al. (2013), state-of-the-artな性能を達成 • と()のみを利用 – prior sentiment-enriched tensor network (PSTN) • 提案手法 • , , ()を利用 2014/9/9 文献紹介 21
22. Semantics-enriched modeling 2014/9/9 文献紹介 22
23. Semantics-enriched modeling • RNTN – 各ノードは次ベクトル – 各ベクトルは2つの子ノードから非線形関数によって 求められる 2 = tanh ( 1 1: 1 + 1 ) 2014/9/9 文献紹介 23
24. Semantics-enriched modeling • PSTN – 各ベクトルは2つの子ノードと， 右側の子ノード (=argument) の感情から求められる 2 = tanh ( 1 1: 1 + 1 + 1 𝑠 1: 1 𝑠 + 𝑠 1 𝑠 ) 2014/9/9 文献紹介 24
25. Semantics-enriched modeling • 1 𝑠には様々な形で感情の値をとることができる – PSTNの面白いところ • 本論文の目的は否定語の振舞いを調査すること – 1 𝑠には人手で付けられたタグを用いる 2014/9/9 文献紹介 25
26. 実験
27. 実験 | set-up • Stanford Sentiment Treebank中の 否定語+被修飾句 全2,261 組がデータ点 • 頻出する否定語と，助動詞+否定語の組み合わせが対象 – 同じ否定語は正規化する e.g.) isn’t, is not → is_not • 評価には平均絶対値誤差 = 1 � ̂ , − ( , ) , 2014/9/9 文献紹介 27
28. 実験 | 結果 2014/9/9 文献紹介 28
29. 考察
30. 考察 • 各否定語の sentiment value の遷移量 （boxは95%信頼区間） • nagator-based shifting の有効性 • 否定語とdinimisher (図中の白いboxのもの) の境界は曖昧 2014/9/9 文献紹介 30
31. 考察 • argument の極性による 否定語の振舞いの違い • polarity-based shifting の有効性 2014/9/9 文献紹介 31
32. References
33. References • Livia Polanyi and Annie Zaenen. Contextual valence shifters. In Exploring Attitude and Affect in Text: Theories and Applications (AAAI Spring Symposium Series). 2004. • Alistair Kennedy and Diana Inkpen. Sentiment classification of movie reviews using contextual valence shifters. Computational Intelligence, 22(2):110-125. 2006.
34. References • Maite Taboada, Julian Brooke, Milan Tofiloski, Kimberly Vol, and Manfred Stede. Lexicon-based methods for sentiment analysis. Computational Linguistics, 37(2):267- 307. 2011. • Richard Socher, Alex Perelygin, Jean Y. Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. Recursive deep modwls for semantic compositionality over a sentiment treebank. In Proc. of EMNLP’13. 2013. 2014/9/9 文献紹介 34