Sentiment Analysis: It’s Complicated!

2018/09/21文献紹介の発表内容

Transcript

1. Sentiment Analysis:
   It’s Complicated!
   長岡技術科学大学
   自然言語処理研究室
   上脇優人
   Kian Kenyon-Dean,Eisha Ahmed,Scott Fujimoto,
   Jeremy Georges-Filteau,Christopher Glasz,
   Barleen Kaur,Auguste Lalande,Shruti Bhanderi,
   Robert Belfer,Nirmal Kanagasabai,Roman
   Sarrazingendron,Rohit Verma,2Derek Ruths
   McGill University, Department of Computer Science
   Proceedings of NAACL-HLT 2018, pages 1886–1895
   9月文献紹介
   

   View Slide

2. Abstract
   • 感情分析のデータセットでは，適切なラベルに大きな不一致がある場合，
   「ノイズの多い」または「複雑な」データを破棄することが一般的で
   す．
   • Twitter Sentiment Analysis(TSA)の目的で構築されたデータセ
   ットでは，上記の様なデータが，最初にアノテーションしたデータの
   30％以上を構成している．
   • 上記の様なデータの削除は，短文のReal-time sentiment
   Classificationを実行するとき，自動化されたシステムがどのよう
   なサンプルが上記の様なカテゴリに入るかを事前に知ることができない
   ため，問題がある．
   • したがって，このようなテキストを分類するための「複雑な」クラスの
   感情の概念を提案し，短文のSentiment analysisフレームワークに
   含めることで，現実の設定で実装されるAutomatic sentiment
   analysis systemの品質が向上すると考えた．
   2
   

   View Slide

3. Introduction
   • ツイートの感情を自動的に判断できるTSAモデルを構築す
   ることは，ここ数年で大きな注目を集めている．
   • しかし，最新のTSAモデルでは機械学習を使用してパラメ
   ータを調整しているため，実際の実装環境との関連性やパ
   フォーマンスは，訓練されたデータセットに大きく依存す
   る．
   • 残念ながら，TSAデータセットの構築には，TSAモデルの
   設計よりも注意が払われていない．
   3
   

   View Slide

4. View Slide

5. Current Problems in TSA
   • TSAデータセットを構築するときに，多くのデータをフィ
   ルタリングしてしまっている．
   • 研究者は，もっと実世界の環境で使用することを想定して
   データセットを構築しないといけない．
   • 例えば，ツイートがSTRONGLY NEGATIVEを2つ，
   STRONGGLY POSITIVEを2つ，NEUTRALのラベルを1つ受
   け取った場合，結果のラベルはNEUTRALになります。
   • しかし，ツイートは確かに「ニュートラル」ではないだろ
   うが，ニュートラルのラベリングに関する全会一致でツイ
   ートと質的に異なる．
   5
   

   View Slide

6. Data Collection
   6
   

   View Slide

7. Data Annotation
   • データのアノテーションには，CrowdFlowerプラットフ
   ォームを使用した．
   • 指示書では，ツイートに表現された感情があいまいである
   か，混在しているか，または肯定的/否定的なものとして
   解釈される可能性がある場合に，COMPLICATEDが好まし
   い選択肢として提示された。
   • 181人の信頼できる投稿者によって合計35,926件のタス
   クが完了し，7,026個の注釈付きツイートを作成．
   7
   

   View Slide

8. Dataset Analysis
   • 注釈付きのツイートは，満場一致（5つのうち5つがラベル
   で合意），コンセンサス（5つのうち4つが合意），多数
   （5つのうち3つが合意），またはそれ以外．
   8
   

   View Slide

9. Dataset Analysis
   9
   

   View Slide

10. Experiment
    • 目的は，最適精度で最先端の分類器を構築することではな
    く，アノテータの不一致に基づいてツイートサブセットを
    含むか除外するかが分類精度にどのように影響するかを理
    解．
    • 実験1
    • 従来通り，アノテータの不一致ツイートを削除（3クラス分類
    問題）
    • 実験2
    • アノテータの不一致ツイートを含める（4クラス分類問題）
    10
    

    View Slide

11. Results
    11
    

    View Slide

12. Results
    12
    

    View Slide

13. Discussion
    • 我々の結果は、注釈の不一致は単に人間の誤りに起因する
    ものではないことを示している。
    • 短いテキストの感情分析の分野を進めるためには、データ
    セットの設計と開発における共通のプラクティスを変更す
    る必要があります。
    • 将来のデータセットは，アノテートされたデータを破棄す
    ることなく，生の注釈ラベルの割り当てと共に公開される
    べきである．
    13
    

    View Slide

14. Conclusions
    • McGill Twitter Sentiment Analysis（MTSA）デ
    ータセットを作成することによって，人間が実際に短文の
    Sentiment analysisデータセット構築において，デー
    タに注釈を付ける方法をよりよく理解する必要性を強調し
    た．
    14
    

    View Slide

15. Future work
    • 生の人間の注釈を利用してSentiment analysis分類子
    を改善し，注釈の不一致を引き起こすこれらのサンプルの
    「複雑な」特性をよりよく検出し理解する方法を見つける
    ことが必要．
    • さらに，研究者は，教師なし，レキシコンベース，および
    ルールベースの方法を含む短文Sentiment analysisの
    ための他の方法の開発にMTSAを使用することを推奨す
    る．
    15
    

    View Slide