Experiencias en herramientas para Ciencias de datos.

Transcript

1. EXPERIENCIAS EN HERRAMIENTAS PARA CIENCIA DE DATOS Edgar Marca matiskay@gmail.com Conversatorio: BigDataHack Septiembre 15 del 2016 Lima - Perú
2. About Edgar Marca Software Engineer at Love Mondays (Helping people to love Mondays.). One of the organizers of Data Science Lima Meetup. Machine Learning and Data Science enthusiasm. twitter: @matiskay 1
3. DATA SCIENCE LIMA MEETUP
4. Data Science Lima Meetup Figure: Foto del quinto Data Science Lima Meetup. 3
5. DATOS
6. Los datos nunca duermen. Figure: Cuantos datos se generan cada minuto? 1 1Data Never Sleeps 3.0 https://www.domo.com/blog/2015/08/data-never-sleeps-3-0/ 5
7. TAREAS EN CIENCIA DE DATOS
8. REPORTES DE DATOS
9. Jupyter Notebook Un entorno interativo donde se puede ejecutar codigo. 8
10. Jupyter Notebook 9
11. ANALISIS DE DATOS
12. Pandas 11
13. NLTK 12
14. EXTRACCION DE DATOS
15. Web Scraping 14
16. EXTRACT LOAD TRANSFORM
17. Luigi 16
18. VISUALIZACION
19. Matplotlib and Seaborn 18
20. MACHINE LEARNING
21. Scikit-learn 20
22. Tensorflow: Library for Machine Intelligence 21
23. MOSTROS GIGANTES
24. Mostros gigantes (No Python) 23
25. EJEMPLO EN MODELAJE DE DISTR- BUCION DE ESPECIES
26. • Permite usar vários modelos em uma interface de simples utilização • Workflow simples 1. Primeramente se obtém os dados de presença e os dados meteorológicos. 2. De forma paralela estes dados são processados e usados para a geração do modelo. 3. Este modelo é projetado sobre um mapa no qual é o resultado final do aplicativo. Figura 4 - Workflow do aplicativo.
27. ➔ O aplicativo é composto por 5 etapas, as quais implementan o workflow descrito na figura 4. 1) Coleta dos dados Para este exemplo os dados são obtidos de uma fonte de dados externa chamada Gbif. Figura 5 - Dados da espécie Rupicola peruviana.
28. Limpeza dos dados Limpando os registros duplicados. Figura 6 - Limpeza de dados.
29. Seleção dos dados abióticos Figura 7 - Dados metereológicos.
30. Geração do modelo Figura 8 - Modelagem.
31. Resultados Figura 9 - Resultados.
32. Figura 10 - Descargas.
33. What the Fuck Are Trump Supporters Thinking? 36
34. What the Fuck Are Trump Supporters Thinking? 37
35. What the Fuck Are Trump Supporters Thinking? They gathered four million tweets belonging to more than two thousand hard-core Trump supporters. Distances between those vectors encoded the semantic distance between their associated words (e.g. the vector representation of the word morons was near idiots but far away from funny) Link: https://medium.com/adventurous-social-science/ what-the-fuck-are-trump-supporters-thinking-ecc16fb66a8d 38
36. MENSAJES PARA LLEVAR A CASA
37. Mensajes para llevar a casa Los conceptos son mas importantes que las herramientas. Aprendizaje a demanda. Aprender al menos un lenguaje de programacion Python o R. Es un trabajo multi-disciplinar. Construir herramientas para analisis. 26
38. PREGUNTAS
39. GRACIAS