Final Graduation Project

Transcript

1. Identificação de entidades mencionadas para análise de sentimentos em microblogs Jessica Caroline Alves Nunes Temporal Orientador: Evandro Eduardo Seron Ruiz Co-Orientador: Mateus Tarcinalli Machado
2. Sumário - Introdução - Fundamentação Teórica - Materiais - Métodos - Resultados - Conclusão 2
3. - Web 2.0 - Textos opinativos - Reviews - Redes sociais - Técnicas de NLP - Linguagens de Programação 3 Introdução
4. - Textos opinativos “Este celular é muito bom! Mas a bateria dura pouco =/” 4 Introdução
5. - Textos opinativos “Este celular é muito bom! Mas a bateria dura pouco =/” 5 Problema
6. Como - Recuperar um conjunto de dados - Implementar o algoritmo de FREQ Baseline - Dois analisadores sintáticos - Comparar os resultados obtidos 6
7. Fundamentação Teórica - Processamento de Linguagem Natural - Análise de Sentimentos Baseada em Aspectos - Termos de aspecto: Assunto - Rotuladores Morfológicos: Part-of-Speech Tagging 7
8. Análise de Sentimentos Baseada em Aspectos - Extração de termos de aspecto “Este celular é muito bom! Mas a bateria é ruim =/” - Substantivos 8 https://www.dicio.com.br/
9. Part-of-Speech Tagging - Classificação de estruturas textuais “Este celular é muito bom! Mas a bateria é ruim...” - Substantivos, adjetivos, pronomes, pontuação... 9
10. Part-of-Speech Tagging - Corpus Taggeados - MAC Morpho - Floresta 10
11. Part-of-Speech Tagging - Tipos de POS-taggers 11
12. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular 12
13. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] 13
14. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” 14
15. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” 15
16. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” 16
17. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” “Estou chegando aí.” 17
18. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” “Estou chegando aí.” 18
19. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular padroes = [(‘*endo’, ‘VG’), (‘*indo’, ‘VG’), (‘*ando’,, ‘VG’)] “Estava comendo.” “Estou chegando aí.” 19 [(‘comendo’ , ‘VG’), (‘chegando’, ‘VG’)]
20. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular - Default Tagger 20
21. Part-of-Speech Tagging - Tipos de POS-taggers - Default “Jessica foi ao parque passear” 21
22. Part-of-Speech Tagging - Tipos de POS-taggers - Default “Jessica foi ao parque passear” 22
23. Part-of-Speech Tagging - Tipos de POS-taggers - Expressão Regular - Default - N-Grama 23
24. Part-of-Speech Tagging - Tipos de POS-taggers - N-Grama: Contexto 24
25. Part-of-Speech Tagging - Tipos de POS-taggers - N-Grama: Contexto “ Programe a sua viagem à Exposição Nacional do Zebu, que começa Dia 25” 25
26. Part-of-Speech Tagging - Tipos de POS-taggers - N-Grama: Contexto “ Programe a sua viagem à Exposição Nacional do Zebu, que começa dia 25” Unigrama 26
27. Part-of-Speech Tagging - Tipos de POS-taggers - N-Grama: Contexto 27
28. Part-of-Speech Tagging - Tipos de POS-taggers - N-Grama: Contexto “Programe a sua viagem à Exposição Nacional do Zebu, que começa Dia 25” 28
29. Part-of-Speech Tagging - Tipos de POS-taggers - Bigrama “(Programe a) sua viagem... 29
30. Part-of-Speech Tagging - Tipos de POS-taggers - Bigrama “Programe (a sua) viagem... 30
31. Part-of-Speech Tagging - Tipos de POS-taggers - Bigrama “Programe a (sua viagem)... 31
32. Part-of-Speech Tagging - Tipos de POS-taggers - Trigrama 32
33. Materiais - 1.3 milhões de tweets 33
34. Materiais - 1.3 milhões de tweets - 200 mil analizados: grupos de 50 mil 34
35. Materiais - Python - Natural Language ToolKit: NLTK - Linux 35
36. Métodos
37. FREQ Baseline - Gerar a lista de aspectos e suas frequências 37
38. FREQ Baseline - Pré-processamento “mesmo no outono, casos de dengue em friburgo continuam aumentando: em uma semana surgiram 358 casos da doença... https://t.co/3lwrwahyp7” 38
39. FREQ Baseline - Pré-processamento - Treinamento POS-taggers 39
40. FREQ Baseline - Pré-processamento - Treinamento POS-taggers - MAC Morpho - FLoresta 40
41. FREQ Baseline - Pré-processamento - Treinamento POS-taggers - Implementação do método 41
42. FREQ Baseline - Pré-processamento - Treinamento POS-taggers - Implementação do método - Remoção de acentuação 42
43. Resultados
44. Validação - Anotação manual - Métricas: POS-tagging 44
45. Validação - Anotação manual - 200 tweets - Dois anotadores - Conjunto gold 45
46. Validação - Métricas 46
47. Validação - Métricas - Precisão 47
48. Validação - Métricas - Precisão - Revocação 48
49. Validação - Métricas - Precisão - Revocação - F-Score 49
50. Validação - Métricas - Precisão - Revocação - F-Score - Acurácia 50
51. Validação - Métricas - Precisão - Revocação - F-Score 51 Floresta MAC Morpho
52. Validação - Métricas - Precisão - Revocação - F-Score 52 Floresta MAC Morpho NLPnet
53. Termos 53
54. Termos 54
55. Termos 55
56. Conclusão - Recuperar um conjunto de dados - Twitter como fonte - Implementar o algoritmo de FREQ Baseline - Dois analisadores sintáticos - NLTK vs NLPnet - Comparar os resultados obtidos 56
57. Referências 57 BIRD, S. NLTK: the Natural Language Toolkit. In: ASSOCIATION FOR COMPUTATIONAL LINGUISTICS. Proceedings of the COLING/ACL on Interactive presentation sessions. [S.l.], 2006. p. 69–72. BIRD, S.; KLEIN, E.; LOPER, E. Natural language processing with Python. [S.l.]: O’Reilly Media, Inc., 2009. PAVLOPOULOS, J.; ANDROUTSOPOULOS, I. Aspect term extraction for sentiment analysis: New datasets, new evaluation measures and an improved unsupervised method. Proceedings of LASMEACL, p. 44–52, 2014.
58. Obrigada!