Mergulhando nos dados abertos com R

Introdução à análise de dados com R. Exemplos em https://github.com/rodrigorgs/mergulhando-com-r

Transcript

1. Mergulhando nos dados abertos com Rodrigo Rocha G. e Souza
 <rodrigorgs@gmail.com> https://github.com/rodrigorgs/mergulhando-com-r
2. Como você toma decisões?
3. A/B Testing intuição? especialistas? dados?
6. http://www.tecmundo.com.br/copa-do-mundo-2014/59114-saiba-software-ajudou-selecao-alema-conquistar-copa.htm
7. Onde encontro dados?
8. Dados abertos • Se o dado não pode ser encontrado e indexado na Web, ele não existe; • Se não estiver aberto e disponível em formato compreensível por máquina, ele não pode ser reaproveitado; • Se algum dispositivo legal não permitir sua replicação, ele não é útil. http://dados.gov.br/dados-abertos/
9. Dados do governo • http://dados.gov.br/ • http://dadosabertos.senado.leg.br/ • http://dados.recife.pe.gov.br/ • http://api.convenios.gov.br/ • http://ibge.gov.br/ • http://www.portaldatransparencia.gov.br/ • …
10. http://dev.transparencia.org.br/api-portal/ A Transparência Brasil é uma ONG independente e autônoma comprometida com o combate à corrupção
11. Engenharia de Software • GitHub Data Challenge, GHTorrent • StackExchange Data Dump • Mozilla Bugzilla Database • Repositórios Git, Subversion…
12. Mais… • Se os dados não estiverem mastigados, você precisará fazer web scraping • Imóveis • Bike Salvador • Diário oficial e outros (JusBrasil)
13. Que ferramenta usar para analisar dados?
14. Excel, LibreOffice…
15. Opção 1: usar a linguagem de programação mais familiar para você
16. Opção 2: usar a melhor ferramenta para cada caso
17. Caso simples: adicionar 1
 a cada elemento de um vetor 2 3 4 3 4 5 x y
18. Java, C… double[]  y  =  new  double[x.length];   ! for  (int  i  =  0;  i  <  x.length;  i++)  {      y[i]  =  x[i]  +  1;   }
19. Ruby y  =  x.map  {  |e|  e  +  1  }
20. Python y  =  [e  +  1  for  e  in  x]
21. R y  <-­‐  x  +  1
22. Open source Multiplataforma Rápida Fácil de integrar a outras linguagens (C, Ruby…) Interpretador interativo Usado nas universidades e nas empresas Comunidade ativa
23. There’s an app for that! a package Steve Jobs sobre a linguagem R
24. Passos Iniciais
30. Beabá do R
31. Análise de 
 Dados com R
32. Tópicos avançados Literate programming (knitr) Integração com C R como web service Integração c/ ling. de alto nível
33. Alternativas Python + Pandas (inspirado no R) Julia
34. Para saber mais The Art of R Programming R in Action http://www.statmethods.net/ http://tryr.codeschool.com/ http://www.r-project.org/
35. Dúvidas? http://pt.stackoverflow.com/