Data Science & Python

Talk baseada em https://speakerdeck.com/biancarosa/comecando-com-data-science, dando um foco maior a como fazer as coisas com Python.
Apresentação feita no PythOnRio do dia 28/05.

Transcript

1. Data Science & Python Conceitos de Data Science & como usar Python para extrair, limpar, analisar e visualizar dados.
2. Bianca Rosa • 5 anos de XP em desenvolvimento web • Cursando CComp na UERJ • Atualmente trabalhando com Python/AngularJS • Estudando Data Science desde Out/2015 http://biancarosa.com.br/ @__biancarosa
7. #SQN
9. Beleza. O que faz um data scientist?
10. 1. Preparação
11. Conseguir dados
12. Dados de pedidos de imigração dos EUA
15. Messy data -> Tidy data Formatar & limpar dados
16. Tidy data / dados formatados (limpos) 1. Cada variável forma uma coluna 2. Cada observação forma uma linha 3. Cada medida de observação forma uma tabela.
20. 2. Análise
27. 3. Reflexão
29. Voltar para análise • Quantos desenvolvedores BR tiveram seus vistos negados / aceitos? • Top 10 países com vistos negados • Top 10 países com vistos aceitos … até chegar numa conclusão
30. 4. Disseminação
33. Matplotlib
37. Apenas por curiosidade... Certified vs Denied: 53195 vs 2853 Devs vs Non-Devs: 3297 vs 57535 Devs Certified vs Devs Denied: 2975 vs 2794 Brazil vs Other countries: 482 vs 60350 Brazil Certified vs Brazil Denied: 404 vs 2820
38. Cursos ➔ https://www.coursera.org/specializations/jhu- data-science ➔ https://www.udacity.com/course/data-analyst- nanodegree--nd002 ➔ https://www.udacity.com/course/machine- learning-engineer-nanodegree--nd009
39. Mão na massa ➔ https://www.kaggle.com ➔ https://www.drivendata.org/ ➔ https://www.innocentive.com/
40. Datasets (exemplos) ➔ https://www.kaggle.com/datasets ➔ http://dados.gov.br/dataset ➔ http://data.rio.rj.gov.br ➔ http://data.gov
41. Links da palestra ➔ https://github.com/biancarosa/data-us-visas ➔ https://www.foreignlaborcert.doleta. gov/performancedata.cfm ➔ https://www.foreignlaborcert.doleta. gov/docs/Performance_Data/Disclosure/FY16Q2/PERM_ Disclosure_Data_FY16_Q2.xlsx ➔ http://matplotlib.org/ ➔ http://github.com/turicas/rows
42. Outras bibliotecas ➔ http://pandas.pydata.org/ ➔ http://statsmodels.sourceforge.net/ ➔ http://deeplearning.net/software/theano/ ➔ http://scikit-learn.org/stable/ ➔ http://mlpy.sourceforge.net/ ➔ http://www.numpy.org/ ➔ http://www.scipy.org/ ➔ http://www.nltk.org/
43. Mais links!!! ➔ https://cran.r-project. org/web/packages/tidyr/vignettes/tidy-data.html