Clean Data with Python

Some samples using Python to cleanning data. Meetup Pyladies La Paz.

Transcript

1. Clean Data with Python
3. • Importancia • Exploración • Ordenamiento • Tipos de Datos • Combinación AGENDA
4. Inicio de un proyecto
5. Limpiar y poner en orden la data
7. 1. EXPLORANDO LOS DATOS df.shape df.columns df.info()
8. 1. EXPLORANDO LOS DATOS Plotear : df[Columna].describe() df.[Columna].plot('hist')
9. No todos los outliers son puntos malos Algunos son valores válidos 1. EXPLORANDO LOS DATOS
10. • Cada variable que mides tiene que estar en una columna. • Cada observación diferente de esa variable tiene que estar en una fila diferente. • Debe haber una tabla distinta para cada "clase" de variable. 2. ORDENANDO DATOS
11. • pd.melt • pivot 2. ORDENANDO DATOS
12. • print(df.dtypes) • String : df[Columna].astype(str) (para datos categóricos). • Numeric : pd.to_numeric(Columna) 3. REVISANDO LOS TIPOS DE DATOS
13. Método drop_duplicates() 4. DATOS DUPLICADOS
14. • Dejarlo como está • Borrarlos • Completar el espacio perdido. 4. MISSING DATA
15. • df..info() • df.dropna() 4. MISSING DATA
16. • .fillna('missing') • .fillna(0) 4. MISSING DATA
17. • Cuidado al usar estadísticas de prueba para llenar. • Debes asegurarte de que el valor que estas completando tiene sentido. • La mediana es una mejor estadística en presencia de valores atípicos. 4. MISSING DATA CON UN TEST ESTADÍSTICO
18. • .fillna(mean_value) 4. MISSING DATA CON UN TEST ESTADÍSTICO
19. • Comprobación por código vs visual checking • Podremos escribir una sentencia assert para verificar si tenemos NaNs o esperamos missings values • Podemos detectar errores y warnings tempranos • Nos da confianza que nuestro código esta corriento correctamente 5. PROBANDO CON ASSERTS
20. assert data.Close.notnull().all() data_0= data.fillna(value=0) assert data_0.Close.notnull().all() 5. PROBANDO CON ASSERTS
21. Recursos adicionales • vita.had.co.nz/papers/tidy-data.pdf • datacamp.com/courses/cleaning-data-in-python • serialmentor.com/blog/2014/7/20/keep-your-data-tidy