Women's March Analysis - Izabella Borges

Transcript

2. 01 IZABELA BORGES • Cientista de Dados @ HEKIMA • Co-organizadora do PyData • Co-fundadora do Escola de Férias @ PUC Minas twitter/ig: @belacb_ github: izabelacborges www.izabelacborges.com
3. 2017 Women’s March 2017 Women’s March 02
4. 03 21 JANEIRO 2017 DIREITOS DAS MULHERES REFORMA DA IMIGRAÇÃO REFORMA DA SAÚDE DIREITOS REPRODUTIVOS MEIO AMBIENTE DIREITOS DOS TRABALHADORES IGUALDADE RACIAL DIREITOS LGBT LIBERDADE DE RELIGIÃO
5. Foi o maior protesto na história dos Estados Unidos a acontecer em um único dia, e a maior demonstração política já registrada em Washington, D.C. 1.000.216 pessoas presentes em Washington, D.C. 04
7. #WomensMarch #WomensMarch 06
8. 14.478.518 tweet ids 11.249.944 tweets recuperados 9.170.486 tweets em inglês 2.438.903 usuários diferentes 07
9. 7.658.436 (83,51%) retweets 1.512.050 (16,49%) tweets únicos 08
10. Twitter Women's March 330M usuários/mês 500M tweets/dia 80% usuários em mobile 3M usuários/dia 854.811 tweets/dia 92% usuários em mobile 09
14. 161.922 retweets 13 116.612 retweets
15. 88.987 retweets 14 71.294 retweets
16. 15 70.994 retweets 63.857 retweets
17. 16 56.742 retweets 59.238 retweets
18. 17 56.046 retweets 64.256 retweets
19. Lexicon Lexicon 18
20. Um Lexicon de sentimentos contém listas de palavras e expressões usadas para expressar sentimentos positivos ou negativos e opiniões subjetivas presentes em um texto. Lexicons geralmente são divididos em unigramas, bigramas e pares. Unigramas são palavras únicas, bigramas são pares de palavras, e pares podem ser um par de unigramas, bigramas, ou unigrama-bigrama. 19
21. Existem atualmente três maneiras de se compor um lexicon: - Manualmente, usando mão de obra humana como no Amazon Mechanical Turk; - Método dicionário, onde se utiliza uma lista curta de palavras e um programa que procura recursivamente por todos os sinônimos à essas palavras em um dicionário; - Método Corpus, em que se utilizam extensas bases rotuladas para mineração de texto e treino. 20
22. Análise de Sentimento Análise de Sentimento 21
24. A Análise de Sentimentos é uma mineração contextual de texto que identifica e extrai informações subjetivas na corpora de texto usada para análise. Sua maior aplicação atual em mercado, é ajudar empresas a entender o sentimento social da sua própria marca, produto ou serviço processando interações em redes sociais como Twitter, Facebook e Instagram. 23
25. Alguns desafios atuais da análise de sentimentos são a identificação de sarcasmo, estudo de contexto e intenção, reconhecimento de entidades, classificação de emojis e erros ortográficos. Com os recentes avanços em Deep Learning, a capacidade dos algoritmos de analisar o texto melhorou consideravelmente, e alguns estudos já mostram avanços em identificação de sarcasmo, estudo de contexto e classificação de emojis. 24
26. Existem atualmente duas técnicas de análise de sentimentos: - Baseadas em Machine Learning, são eficazes em contexto de aprendizado supervisionado, ou seja, existe uma base de dados rotulada (input e output); - Baseadas em Lexicons, são eficazes em contexto de aprendizado não supervisionado, onde não há rótulos de saída esperada. 25
27. 26 Bibliotecas utilizadas: - pandas: biblioteca de análise de dados; - os: biblioteca padrão para manipulação do S.O.; - re, string: bibliotecas padrão para processamento de texto; - glob: biblioteca de manipulação de arquivos no S.O.; - nltk: biblioteca de processamento e tokenização; - TextBlob: biblioteca de análise básica de texto;
28. 27 Foram três abordagens: 1. Análise inicial com o TextBlob, uma biblioteca de processamento de texto; 2. Rede Neural treinada com avaliações de filmes no IMDb; 3. Análise Lexicon-based, com contagem de termos (unigramas e bigramas).
29. 28 Nossa análise passa pelos seguintes passos: 1. Transformação de IDs para tweet objects; 2. Limpeza de atributos dos dados; 3. Análise estatística básica geral; 4. Redução de ruído e retirada de textos duplicados; 5. Criação dos modelos; 6. Classificação de sentimentos; 7. Análise estatística básica dos sentimentos.
33. 32 O TextBlob utiliza uma combinação de análise de padrões e análise probabilística. A Rede Neural é treinada em avaliações de filmes recolhidas pelo projeto CoreNLP de Stanford no site IMDb. A abordagem lexicon-based é feita por reconhecimento de padrões no texto, utilizando unigramas e bigramas de um lexicon feito manualmente para análises de textos em redes sociais.
35. 34 TextBlob Positivo Negativo Neutro
36. 35 Rede Neural & IMDb reviews Positivo Negativo Neutro
37. 36 Lexicon-based Positivo Negativo Neutro
38. 37 - Negativo no TextBlob - Negativo na Rede Neural - Positivo no Lexicon-based
39. 38 - Neutro no TextBlob - Positivo na Rede Neural - Positivo no Lexicon-based
40. 39 - Neutro no TextBlob - Negativo na Rede Neural - Negativo no Lexicon-based
41. 40 - Neutro no TextBlob - Negativo na Rede Neural - Positivo no Lexicon-based
42. Melhorias =) Melhorias =) 41
43. 42 Alguns pontos fracos na análise utilizando a Rede Neural: - O texto de treinamento, por ter um contexto muito diferente do estudado, tem um número muito alto de erros de classificação; - Como tweets são um tipo de texto não classificado, onde a classificação seria manual, não é factível treiná-lo.
44. 43 Alguns pontos fracos na análise utilizando o lexicon: - O lexicon precisa ser específico para o assunto da análise. Mesmo estando no mesmo contexto (redes sociais), a análise foi fraca; - Utilizar pares de negação-unigrama ou negação-bigrama não foi possível, mas melhoraria nossa análise.
45. 44 Outras melhorias futuras seriam: processamento de negação, identificação de entidade, identificação de sarcasmo, e conseguir processar mais abreviações, erros ortográficos e gírias.
46. 45 Dúvidas? Dúvidas?