Nettoyage des données - Données manquantes

Habituellement, les fichiers CSV contiennent des données manquantes, des noms de colonnes incorrects, des doublons, des valeurs incorrectes et des types de données incorrects. Le module Pandas possède tous les outils pour gérer ces problèmes.

Données manquantes

Pour savoir si une valeur est manquante ou non :

df.isna()

Pour savoir combien de valeurs manquantes chaque colonne possède :

df.isna().sum()

La fonction isna() convertit toutes les valeurs en true ou false (manquante ou non), puis s'applique. sum() traitera true comme 1 et false comme 0.

Pour itérer sur les colonnes et leur nombre de valeurs manquantes, utilisez la méthode items() tout comme dans un dictionnaire (bien qu'il s'agisse d'un objet Pandas series) :

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Pour remplir toutes ces valeurs manquantes pour l'ensemble du dataframe, utilisez la méthode fillna() :

df = df.fillna("some value")

Pour remplir les valeurs manquantes uniquement pour une colonne, utilisez la fonction fillna() sur une colonne :

df["some_column"] = df["some_column"].fillna("some value")

Il existe également une option pour supprimer toutes les lignes contenant des valeurs manquantes :

df = df.dropna()