Limpeza de Dados - Dados ausentes

Geralmente, os arquivos CSV contêm dados ausentes, nomes de colunas incorretos, duplicatas, valores incorretos e tipos de dados incorretos. O módulo Pandas possui todas as ferramentas para lidar com esses problemas.

Dados Ausentes

Para descobrir se um valor está ausente ou não:

df.isna()

Para saber quantos valores ausentes cada coluna possui:

df.isna().sum()

A função isna() converte todos os valores para true ou false (ausente ou não), então aplica. sum() tratará true como 1 e false como 0.

Para iterar sobre as colunas e seu número de valores ausentes, use o método items() assim como em um dicionário (embora seja um objeto de série do Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Para preencher todos esses valores ausentes para o dataframe inteiro, use o método fillna():

df = df.fillna("some value")

Para preencher valores ausentes apenas para uma coluna, use a função fillna() sobre uma coluna:

df["some_column"] = df["some_column"].fillna("some value")

Também existe a opção de remover todas as linhas com valores ausentes:

df = df.dropna()