Nettoyage des données - Autres outils
Leçon 7 sur 19 du cours Analyse de données avec Pandas de Coddy.
Supprimer les valeurs en double
Les lignes en double sont exactement les mêmes. S'il y a une seule différence, elle ne sera pas considérée comme un doublon.
df = df.drop_duplicates()Renommer les colonnes
Généralement, nous aimerions avoir une convention unique pour les noms de colonnes. Pour cela, nous pouvons renommer manuellement les colonnes :
df = df.rename(columns={"old_name": "new_name"})Modifier les types de données
df["column name"] = df["column name"].astype(bool)
df["column name"] = df["column name"].astype(int)
Défi
FacileLe fichier CSV missing.csv est désordonné.
Voici les 5 premières lignes du fichier :
ID,COUNTRY,COLOR,SKILL,SKILL_POINTS,UTILIZATION,IS_VALID
1,France,Signal violet,marksmanship,14,0.1924,1
1,France,Signal violet,marksmanship,14,0.1924,1
2,Solomon Islands,Pearl violet,,4,,1
3,Germany,,calligraphy,12,0.88646,0Nettoyez les données :
- Supprimez les lignes en double.
- Renommez toutes les colonnes en lettres minuscules.
- Convertissez les colonnes contenant des uns et des zéros (examinez le dataframe pour trouver les bonnes colonnes) en colonnes booléennes.
Pour itérer sur toutes les colonnes, vous pouvez utiliser la propriété .columns :
for column in columns:
# your code herePour suivre votre progression, affichez le df : print(df)
Stockez le résultat final dans la variable df.
N'affichez pas le df pour réussir le cas de test !
Essayez vous-même
# pandas as pd est déjà importé
df = pd.read_csv("./missing.csv")
# Écrivez votre code ci-dessous
Toutes les leçons de Analyse de données avec Pandas
1Introduction
Pourquoi utiliser Pandas ?Structures de données dans PandasChargement de données dans un DataFrame4Analyse de données avec Pandas
Statistiques descriptivesGroupement et agrégation de donnéesDifférentes agrégationsFusion et concaténation2Travailler avec le DataFrame
Comprendre les DataFramesAccéder aux donnéesNettoyage des données - Données manquantesNettoyage des données - Autres outils