PyLadiesMadrid: Py-Píldoras para tratar tu Open Data

El Open Data comprende tantas fuentes, formatos y contenidos que, en ocasiones, encontrar la forma de tratarlo puede ser complicado. Python ofrece miles de posibilidades que pueden hacerte la vida mucho más fácil. En esta charla te enseñaremos algunos ejemplos en los que puedes usar Python para que tratar datos abiertos nunca más sea un dolor.

Transcript

1. PY-PÍLDORAS PARA TRATAR TU OPEN DATA
2. madrid@pyladies.com @PyLadiesMadrid PyLadies Madrid 2 Iniciación a Python Crear comunidad Alentar ponentes
3. 1. DESORIENTACIÓN Falta de coordenadas geográficas 3
4. 4 Objetivo: Analizar los datos de multas en Madrid desde una perspectiva GIS
5. 5 Dónde encontrar los datos: datos.madrid.es
6. 6 Análisis de los datos: Dataset de multas
7. 7 Análisis de los datos: Dataset de multas !!!!
8. 8 232.274 multas 175.311 sin coord.
9. 9 232.274 multas 75% del total 175.311 sin coord.
12. 12 ¿Qué es la geocodificación?
13. 13 Algunos geocoders del mercado Open Source (basados en OSM) ▸ Nominatim ▸ Imposm De pago o con cuotas ▸ Google Maps ▸ Esri ▸ Bing Maps ▸ Carto ▸ Yahoo ▸ ...
14. 14 ¿Por qué es complejo? Esquinas ▸ FUENCARRAL-PALMA ▸ J.M.EMPECINADO-RAMIREZ PRADO
15. 15 ¿Por qué es complejo? Esquinas ▸ FUENCARRAL-PALMA ▸ J.M.EMPECINADO-RAMIREZ PRADO Abreviaturas ▸ PZ STO DOMINGO 7 ▸ CL GUSTAVO FDZ BALBUENA 27
16. 16 ¿Por qué es complejo? Esquinas ▸ FUENCARRAL-PALMA ▸ J.M.EMPECINADO-RAMIREZ PRADO Abreviaturas ▸ PZ STO DOMINGO 7 ▸ CL GUSTAVO FDZ BALBUENA 27 Carreteras y puntos kilométricos ▸ M-30 NC K 14,200 CR3 ▸ AUTOV M-30 EX 12100
17. 17 ¿Por qué es complejo? Esquinas ▸ FUENCARRAL-PALMA ▸ J.M.EMPECINADO-RAMIREZ PRADO Abreviaturas ▸ PZ STO DOMINGO 7 ▸ CL GUSTAVO FDZ BALBUENA 27 Carreteras y puntos kilométricos ▸ M-30 NC K 14,200 CR3 ▸ AUTOV M-30 EX 12100 ¿? ▸ PO DIRECCION 283
18. 18 Múltiples resultados Ejemplo: CL JUAN BRAVO 23 [{ [...] 'formatted_address': 'Calle Juan Bravo, 23, 40001 Segovia, Spain', 'geometry': {'location': {'lat': 40.9483001, 'lng': -4.1212002}}, [...] { [...] 'formatted_address': 'Calle Juan Bravo, 23, 13500 Puertollano, Cdad. Real, Spain', 'geometry': {'location': {'lat': 38.6844721, 'lng': -4.1067683}} [...] { [...] 'formatted_address': 'Calle Juan Bravo, 23, 28934 Móstoles, Madrid, Spain', 'geometry': {'location': {'lat': 40.321078, 'lng': -3.871188}} [...] ]
19. GOOGLE MAPS Ejemplo de geocoding con 19
20. 20 1. Analizar los datos
21. 21 1. Analizar los datos
22. 22 2. ¡Truco! Agrupa las direcciones
23. 23 2. ¡Truco! Agrupa las direcciones
24. 24 3. Cálculos de cuotas en Google Maps
25. 25 3. Cálculos de cuotas en Google Maps
26. 26 4. Probando datos “en crudo”
27. 27 4. Probando datos “en crudo”
28. 28 4. Preparar las direcciones
29. 29 4. Preparar las direcciones
30. 30 4. Lanzar el proceso
31. 31 4. Resultados
32. 2. DESINFORMACIÓN Imputación de valores nulos 32
33. 33 Imputación de valores nulos ¿Qué es? Sustitución de valores missing (no informados) por otros que estimamos (no reales). Hay muchas posibilidades, pero ninguna es la receta definitiva. Dependerá del caso.
34. 34 Ejemplo Contaminación en Madrid Datos en el Portal de Datos Abiertos de Madrid. Precisión: 98%, pero a veces las máquinas fallan. Solución: Imputar datos faltantes
35. 35 Datos Carga en Python
36. 36 Opción 1 Valor medio
37. 37 Opción 1 Valor medio
38. 38 Opción 2 Media por estación
39. 39 Opción 2 Media por estación
40. 40 Opción 3 Asignación aleatoria por estación
41. 41 Opción 3 Asignación aleatoria por estación
42. 42 Opción 3 Asignación aleatoria por estación
43. 43 Opción 4 Estimación por regresión
44. 44 Opción 4 Estimación por regresión Regresión lineal
45. 45 Opción 4 Estimación por regresión Árboles de decisión Otras opciones: Redes neuronales …
46. 46 Opción 4 Estimación por regresión Regresión lineal
47. 47 Opción 4 Estimación por regresión Regresión lineal
48. 48 Opción 5 Imputación temporal: LVCF LVCF = Last Value Carried Forward
49. 49 Conoce las opciones Prueba cuál te va mejor Pero solo si es necesario
50. bit.do/pyladiesfiesta
51. 51 ¡Gracias! ¿Preguntas? ▹ madrid@pyladies.com ▹ @PyLadiesMadrid