Data Science. O que? Por que? Como?

Palestra técnica apresentada no Women Techmakers Belo Horizonte em Março/2014 e no Meetup BehaveData Setembro/2014.

Transcript

1. SCIENCE DATA O que? Por que? Como?
2. Carolina Bigonha carolina.bigonha@zahpee.com | @carolinabigonha
3. Primeiro meetup do BehaveData 10 Setembro, 2014 Belo Horizonte, Brasil SCIENCE DATA
4. DATA SCIENCE Disciplina que incorpora métodos e habilidades de diferentes áreas do conhecimento para preparar, armazenar, processar, analisar e comunicar resultados a partir de grandes bases de dados.
5. DATA SCIENCE 2008 HBR, Facebook, Linkedin
6. DATA SCIENCE 2008 HBR, Facebook, Linkedin Milhares de 'data scientists' já trabalhavam em startups, grandes empresas e centros de pesquisa. antes disso
7. Por que de repente o Data Science está em todo lugar?
8. maior capacidade de processamento menor preço de armazenamento
9. soluções
10. soluções
11. soluções
12. data
13. data
14. . compras . geolocalização . ligações . mensagens . salário . músicas . vontade?
15. . artistas . vídeos . albuns . shows . amigos . recomendação?
16. . quantas pessoas . para onde . quanto tempo . qual linha . otimização?
18. resultado
19. data-driven products
22. relatórios e visualizações
23. Visualização de Charles Minard, 1869, que exibe o número de homens ao longo da campanha de Napoleão Bonaparte contra a Rússia, em 1812, seus movimentos e a temperatura no caminho de volta.
24. Visualização interativa do New York Times. http://www.nytimes.com/interactive/2013/02/04/science/girls-lead-in-science-exam-but-not-in-the-united-states.html
25. Visualização interativa do New York Times. http://www.nytimes.com/interactive/2013/02/04/science/girls-lead-in-science-exam-but-not-in-the-united-states.html
26. Visualização interativa do New York Times. http://www.nytimes.com/interactive/2013/02/04/science/girls-lead-in-science-exam-but-not-in-the-united-states.html
27. Visualização interativa do New York Times. http://www.nytimes.com/interactive/2013/02/04/science/girls-lead-in-science-exam-but-not-in-the-united-states.html
28. Visualização interativa do New York Times. http://www.nytimes.com/interactive/2013/02/04/science/girls-lead-in-science-exam-but-not-in-the-united-states.html
29. DATA SCIENTIST É um profissional altamente qualificado com o treinamento e curiosidade necessários para realizar descobertas utilizando dados. Harvard Business Review, Outubro 2012. Tradução livre.
30. DATA SCIENTIST Hacking skills + Math & Statistics + Expertise
31. DATA SCIENTIST É um profissional altamente qualificado com o treinamento e curiosidade necessários para realizar descobertas utilizando dados. Harvard Business Review, Outubro 2012. Tradução livre. UM?
32. DATA SCIENTIST É um profissional altamente qualificado com o treinamento e curiosidade necessários para realizar descobertas utilizando dados. Harvard Business Review, Outubro 2012. Tradução livre. TIME?
33. O que perguntar? Como interpretar da maneira correta? Como lidar com a estrutura variável dos dados? Qual história contar?
34. FLUXO BÁSICO
35. ANÁLISE PREPARAÇÃO OBTENÇÃO dado bruto resultado base trabalhada
36. obtenção dos dados
37. Dados públicos Governo Dados empresariais CRM Vendas Logística Ambientes online Redes sociais Blogs Notícias Acervos Livros Fotografia qual dado? onde?
38. http://www.portaltransparencia.gov.br/
39. http://www.ibge.gov.br
40. http://www.last.fm/api
41. https://dev.twitter.com/docs/api
42. http://www.gutenberg.org/
43. Arquivo Banco de dados API formatos comuns
44. preparação dos dados
45. O dado faz sentido? Está correto? Há dados faltantes?
46. a arte de lidar com e ou converter dados faltantes ou mal formatados para um formato mais fácil de administrar. data wrangling / data munging
48. partial deletion impution LISTWISE DELETION apaga todo o registro PAIRWISE DELETION apaga só onde faz sentido não há muito dado, então não é interessante eliminar. preencher dados faltantes: média? regressão?
49. ferramentas
50. análise dos dados
51. análise estatística dos dados
52. análise estatística Sumarização dos dados Média, variância, desvio padrão, coeficiente de variação, quantis Coeficiente de Pearson Correlação Linear, logística Regressão ARIMA Modelos para séries temporais
53. ferramentas
54. análise preditiva dos dados
55. aprendizado de máquina inteligência artificial probabilidade estatística complexidade computacional teoria da informação e outros...
56. aprendizado de máquina Descobrir automaticamente padrões implícitos em grandes bases de dados; Resolver problemas em que um algoritmo não é claro; Domínios onde o problema deve mudar dinamicamente de acordo com condições.
57. Uma TAREFA bem definida, uma MÉTRICA de performance e uma fonte de TREINO.
58. supervisionado não-supervisionado semi-supervisionado Requer uma base rotulada para treino e geração do modelo. ex.: classificação O objetivo é descobrir uma característica inerente aos dados: modelo, distribuição de probabilidade. ex.: clusterização . topic model Normalmente utilizado quando há pouco dado rotulado e muito dado não rotulado. Utiliza o não rotulado também para treino.
59. ferramentas
60. storytelling a partir de dados
61. princípios de storytelling
62. 1. pergunte-se 2. faça pergunta aos dados 3. descubra histórias
63. 1. pergunte-se 2. faça pergunta aos dados 3. descubra histórias quem é seu público qual o contexto/meio de comunicação qual é a técnica empregada qual o objetivo
64. Do livro 'Functional Art' de Alberto Cairo Do livro 'The Functional Art' de Alberto Cairo
65. tenha um objetivo claro Do livro 'The Functional Art' de Alberto Cairo
66. mostre os dados Front Row to Fashion Week, New York Times, 2013. Extraiu faixas das fotos das peças dos desfiles e exibe visão geral dos padrões de cor de dada estilista.
67. mostre os dados Front Row to Fashion Week, New York Times, 2013. Extraiu faixas das fotos das peças dos desfiles e exibe visão geral dos padrões de cor de dada estilista.
68. An Experiment in Graphical Perception, 1984 https://vis.arc.vt.edu/~npolys/projects/safas/science.pdf
69. 1. pergunte-se 2. faça pergunta aos dados 3. descubra histórias dados, onde? o que ele oferece qual a relação com outros dados
70. The Whale Hunt http://thewhalehunt.org/whalehunt.html
71. The Whale Hunt http://thewhalehunt.org/whalehunt.html
72. 3. descubra histórias 2. faça pergunta aos dados 1. pergunte-se fatos interessante mudanças conexões experiências pessoais
73. mostre os dados John Snow Cholera Map, 1854 - utilizado para mostrar como os casos de cólera estavam concentrados perto de bombas de água. Ajudou a mostrar que a cólera era transmitida pela água, não pelo ar, como se pensava.
74. Immersion, a people-centric view of your email life https://immersion.media.mit.edu
75. ser fiel e eficiente na comunicação dos dados
76. http://xkcd.com/605/
77. Do livro 'The Functional Art' de Alberto Cairo
78. TL;DR
79. DATA SCIENCE
80. data
81. resultado
82. ANÁLISE PREPARAÇÃO OBTENÇÃO dado bruto resultado base trabalhada
84. Obrigada! Carolina Bigonha carolina.bigonha@zahpee.com | @carolinabigonha
85. ÍCONES* SLIDE 2 Mortar Board designed by Monika Ciapala from the Noun Project Beaker designed by Shmidt Sergey from the Noun Project SLIDE 4 Computer designed by Erin Standley from the Noun Project Paint Palette designed by Mister Pixel from the Noun Project Math designed by SuperAtic LABS from the Noun Project SLIDE 6 Brightness by Grant Fisher from The Noun Project Satellite by Grant Fisher from The Noun Project Server by Grant Fisher from The Noun Project Projector Screen by Grant Fisher from The Noun Project Report by Grant Fisher from The Noun Project Light Bulb by Grant Fisher from The Noun Project SLIDE 27 Museum designed by Ashley van Dyck from the Noun Project Network designed by TNS from the Noun Project Books designed by Julia Simplicio from the Noun Project SLIDE 33 File designed by Pham Thi Dieu Linh from the Noun Project Database designed by Shmidt Sergey from the Noun Project SLIDE 37 Detach by Nithin Davis Nanthikkara from The Noun Project Page Break by Garrett Knoll from The Noun Project SLIDE 47 Eye by João Marcelo Ribeiro from The Noun Project Glasses by Okan Benn from The Noun Project * Os ícones não mencionados são de domínio público.