Limpieza de datos - Datos faltantes

Por lo general, los archivos CSV contienen datos faltantes, nombres de columna incorrectos, duplicados, valores incorrectos y tipos de datos incorrectos. El módulo Pandas tiene todas las herramientas para manejar estos problemas.

Datos faltantes

Para averiguar si un valor falta o no:

df.isna()

Para saber cuántos valores faltantes tiene cada columna:

df.isna().sum()

La función isna() convierte todos los valores a true o false (faltante o no), luego se aplica. sum() tratará true como 1 y false como 0.

Para iterar sobre las columnas y su número de valores faltantes, use el método items() al igual que en un diccionario (aunque es un objeto de serie de Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Para completar todos esos valores faltantes para todo el dataframe, use el método fillna():

df = df.fillna("some value")

Para completar los valores faltantes solo para una columna, use la función fillna() sobre una columna:

df["some_column"] = df["some_column"].fillna("some value")

También existe la opción de eliminar todas las filas con valores faltantes:

df = df.dropna()