Clean Data with Python 

No content

● Importancia ● Exploración ● Ordenamiento ● Tipos de Datos ● Combinación AGENDA 

Inicio de un proyecto 

Limpiar y poner en orden la data 

No content

1. EXPLORANDO LOS DATOS df.shape df.columns df.info() 

1. EXPLORANDO LOS DATOS Plotear : df[Columna].describe() df.[Columna].plot('hist') 

No todos los outliers son puntos malos Algunos son valores válidos 1. EXPLORANDO LOS DATOS 

● Cada variable que mides tiene que estar en una columna. ● Cada observación diferente de esa variable tiene que estar en una fila diferente. ● Debe haber una tabla distinta para cada "clase" de variable. 2. ORDENANDO DATOS 

● pd.melt ● pivot 2. ORDENANDO DATOS 

● print(df.dtypes) ● String : df[Columna].astype(str) (para datos categóricos). ● Numeric : pd.to_numeric(Columna) 3. REVISANDO LOS TIPOS DE DATOS 

Método drop_duplicates() 4. DATOS DUPLICADOS 

● Dejarlo como está ● Borrarlos ● Completar el espacio perdido. 4. MISSING DATA 

● df..info() ● df.dropna() 4. MISSING DATA 

● .fillna('missing') ● .fillna(0) 4. MISSING DATA 

● Cuidado al usar estadísticas de prueba para llenar. ● Debes asegurarte de que el valor que estas completando tiene sentido. ● La mediana es una mejor estadística en presencia de valores atípicos. 4. MISSING DATA CON UN TEST ESTADÍSTICO 

● .fillna(mean_value) 4. MISSING DATA CON UN TEST ESTADÍSTICO 

● Comprobación por código vs visual checking ● Podremos escribir una sentencia assert para verificar si tenemos NaNs o esperamos missings values ● Podemos detectar errores y warnings tempranos ● Nos da confianza que nuestro código esta corriento correctamente 5. PROBANDO CON ASSERTS 

assert data.Close.notnull().all() data_0= data.fillna(value=0) assert data_0.Close.notnull().all() 5. PROBANDO CON ASSERTS 

Recursos adicionales ● vita.had.co.nz/papers/tidy-data.pdf ● datacamp.com/courses/cleaning-data-in-python ● serialmentor.com/blog/2014/7/20/keep-your-data-tidy 

No content