Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Sentiment Analysis: It’s Complicated!
Search
Yuto Kamiwaki
September 20, 2018
Research
100
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Sentiment Analysis: It’s Complicated!
2018/09/21文献紹介の発表内容
Yuto Kamiwaki
September 20, 2018
Transcript
15 slides
Sentiment Analysis: It’s Complicated! 長岡技術科学大学 自然言語処理研究室 上脇優人 Kian Kenyon-Dean,Eisha Ahmed,Scott
Fujimoto, Jeremy Georges-Filteau,Christopher Glasz, Barleen Kaur,Auguste Lalande,Shruti Bhanderi, Robert Belfer,Nirmal Kanagasabai,Roman Sarrazingendron,Rohit Verma,2Derek Ruths McGill University, Department of Computer Science Proceedings of NAACL-HLT 2018, pages 1886–1895 9月文献紹介
Abstract • 感情分析のデータセットでは,適切なラベルに大きな不一致がある場合, 「ノイズの多い」または「複雑な」データを破棄することが一般的で す. • Twitter Sentiment Analysis(TSA)の目的で構築されたデータセ ットでは,上記の様なデータが,最初にアノテーションしたデータの
30%以上を構成している. • 上記の様なデータの削除は,短文のReal-time sentiment Classificationを実行するとき,自動化されたシステムがどのよう なサンプルが上記の様なカテゴリに入るかを事前に知ることができない ため,問題がある. • したがって,このようなテキストを分類するための「複雑な」クラスの 感情の概念を提案し,短文のSentiment analysisフレームワークに 含めることで,現実の設定で実装されるAutomatic sentiment analysis systemの品質が向上すると考えた. 2
Introduction • ツイートの感情を自動的に判断できるTSAモデルを構築す ることは,ここ数年で大きな注目を集めている. • しかし,最新のTSAモデルでは機械学習を使用してパラメ ータを調整しているため,実際の実装環境との関連性やパ フォーマンスは,訓練されたデータセットに大きく依存す る. •
残念ながら,TSAデータセットの構築には,TSAモデルの 設計よりも注意が払われていない. 3
4
Current Problems in TSA • TSAデータセットを構築するときに,多くのデータをフィ ルタリングしてしまっている. • 研究者は,もっと実世界の環境で使用することを想定して データセットを構築しないといけない.
• 例えば,ツイートがSTRONGLY NEGATIVEを2つ, STRONGGLY POSITIVEを2つ,NEUTRALのラベルを1つ受 け取った場合,結果のラベルはNEUTRALになります。 • しかし,ツイートは確かに「ニュートラル」ではないだろ うが,ニュートラルのラベリングに関する全会一致でツイ ートと質的に異なる. 5
Data Collection 6
Data Annotation • データのアノテーションには,CrowdFlowerプラットフ ォームを使用した. • 指示書では,ツイートに表現された感情があいまいである か,混在しているか,または肯定的/否定的なものとして 解釈される可能性がある場合に,COMPLICATEDが好まし い選択肢として提示された。
• 181人の信頼できる投稿者によって合計35,926件のタス クが完了し,7,026個の注釈付きツイートを作成. 7
Dataset Analysis • 注釈付きのツイートは,満場一致(5つのうち5つがラベル で合意),コンセンサス(5つのうち4つが合意),多数 (5つのうち3つが合意),またはそれ以外. 8
Dataset Analysis 9
Experiment • 目的は,最適精度で最先端の分類器を構築することではな く,アノテータの不一致に基づいてツイートサブセットを 含むか除外するかが分類精度にどのように影響するかを理 解. • 実験1 • 従来通り,アノテータの不一致ツイートを削除(3クラス分類
問題) • 実験2 • アノテータの不一致ツイートを含める(4クラス分類問題) 10
Results 11
Results 12
Discussion • 我々の結果は、注釈の不一致は単に人間の誤りに起因する ものではないことを示している。 • 短いテキストの感情分析の分野を進めるためには、データ セットの設計と開発における共通のプラクティスを変更す る必要があります。 • 将来のデータセットは,アノテートされたデータを破棄す
ることなく,生の注釈ラベルの割り当てと共に公開される べきである. 13
Conclusions • McGill Twitter Sentiment Analysis(MTSA)デ ータセットを作成することによって,人間が実際に短文の Sentiment analysisデータセット構築において,デー タに注釈を付ける方法をよりよく理解する必要性を強調し
た. 14
Future work • 生の人間の注釈を利用してSentiment analysis分類子 を改善し,注釈の不一致を引き起こすこれらのサンプルの 「複雑な」特性をよりよく検出し理解する方法を見つける ことが必要. • さらに,研究者は,教師なし,レキシコンベース,および
ルールベースの方法を含む短文Sentiment analysisの ための他の方法の開発にMTSAを使用することを推奨す る. 15
More Decks by Yuto Kamiwaki
See All by Yuto Kamiwaki
Emo2Vec: Learning Generalized Emotion Representation by Multi-task Training
yuto_kamiwaki
0
130
Modeling Naive Psychology of Characters in Simple Commonsense Stories
yuto_kamiwaki
1
230
Using millions of emoji occurrences to learn any-domain representations for detecting sentiment, emotion and sarcasm
yuto_kamiwaki
0
130
Epita at SemEval-2018 Task 1: Sentiment Analysis Using Transfer Learning Approach
yuto_kamiwaki
0
150
Tensor Fusion Network for Multimodal Sentiment Analysis
yuto_kamiwaki
0
300
ADAPT at IJCNLP-2017 Task 4: A Multinomial Naive Bayes Classification Approach for Customer Feedback Analysis task
yuto_kamiwaki
0
190
EmoWordNet: Automatic Expansion of Emotion Lexicon Using English WordNet
yuto_kamiwaki
0
120
ATTENTION-BASED LSTM FOR PSYCHOLOGICAL STRESS DETECTION FROM SPOKEN LANGUAGE USING DISTANT SUPERVISION
yuto_kamiwaki
0
170
BB_twtr at SemEval-2017 Task 4: Twitter Sentiment Analysis with CNNs and LSTMs
yuto_kamiwaki
0
270
Other Decks in Research
See All in Research
20261101GISA-FOSS4G
tosseto
1
160
横浜市長(山中氏)の言動にかかる第三者による調査報告書
sishi2026
0
680
【ACL読み会2026@名古屋大学】Find Your Optimal Teacher: Personalized Data Synthesis viaRouter-Guided Multi-Teacher Distillation
uskimura
0
110
[SNLP2026] Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach
wataruuuuu
0
380
J-STAGEの現況と全文XML登載必須化について
xspa2012
0
430
Volatilité des marchés et sécheresse historique, l’élevage bovin viande sous contraintes en 2026
institutdelelevage
PRO
0
250
AI時代に学術情報をどう探し、どう使うか: 研究の様々な場面と一研究者の経験から
masao
0
240
山中市政の総括:相反する二つの顔
sishi
0
240
最先端NLP 2026 論文紹介: Wait, Wait, Wait... Why Do Reasoning Models Loop? / SNLP Paper Review: Wait, Wait, Wait... Why Do Reasoning Models Loop?
tkng
0
290
Paris et Berlin face à un monde sans repères. Entre convergences et divergences en matière de politique étrangère
ifri
0
350
Evaluation génomique des femelles laitières croisées : comprendre la méthode pour accompagner les éleveurs à son utilisation
institutdelelevage
PRO
0
230
A Preliminary Performance Evaluation of Cassandra Accord
sira
0
120
Featured
See All Featured
Designing for Performance
lara
612
70k
The agentic SEO stack - context over prompts
schlessera
0
1k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
10
1.4k
Between Models and Reality
mayunak
4
610
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
tammyeverts
2
580
jQuery: Nuts, Bolts and Bling
dougneiner
66
8.7k
A designer walks into a library…
pauljervisheath
211
25k
Mind Mapping
helmedeiros
1
450
Test your architecture with Archunit
thirion
2
2.5k
Odyssey Design
rkendrick25
PRO
3
970
Building Applications with DynamoDB
mza
96
7.3k