Groupement et agrégation de données
Leçon 15 sur 19 du cours Analyse de données avec Pandas de Coddy.
Le regroupement et l'agrégation de données sont essentiels lors du traitement de grands ensembles de données, car ils aident à simplifier et à résumer les données de manière à les rendre plus faciles à comprendre et à analyser.
Dans la leçon précédente, nous avons calculé des statistiques sur un groupe spécifique, mais calculer des statistiques pour tous les groupes pourrait être difficile sans outils supplémentaires. Pour cela, nous avons la méthode .groupby() :
df.groupby('column_name')Cela retournera un objet GroupBy qui regroupe les lignes du dataframe par les valeurs de column_name. Vous pouvez appliquer des fonctions d'agrégation sur cet objet GroupBy pour effectuer des calculs au sein de ces groupes.
Une fois les données regroupées, nous pouvons effectuer plusieurs fonctions d'agrégation pour résumer les données, comme :
df.groupby('column_name').sum()
df.groupby('column_name').min()
df.groupby('column_name').max()Cela retournera la sum, le min et le max de toutes les autres colonnes numériques du dataframe original, divisées par column_name.
Vous pouvez maintenant extraire une colonne spécifique que vous analysez :
df.groupby('column_name').sum()['other_column']
Défi
FacileLe fichier CSV visits.csv contient des informations sur le nombre de visites effectuées à un endroit particulier à un moment donné.
Voici les 5 premières lignes du fichier :
location_id,visits,timestamp
8,1771,27498
9,4187,79919
0,4959,54228
6,7721,41588Créez un dictionnaire avec les clés suivantes : min, max, mean, std, sum, et median, et fournissez une series correspondant aux statistiques de la colonne visits pour chaque identifiant de lieu (location id).
Essayez vous-même
# pandas as pd est déjà importé
df = pd.read_csv("./visits.csv")
# Écrivez votre code ci-dessous
sum_visits = df.groupby("location_id").sum()["visits"]
res = {
"min": # remplir
"max": # remplir
"mean": # remplir
"std": # remplir
"median": # remplir
"sum": sum_visits
}
print(res)Toutes les leçons de Analyse de données avec Pandas
1Introduction
Pourquoi utiliser Pandas ?Structures de données dans PandasChargement de données dans un DataFrame4Analyse de données avec Pandas
Statistiques descriptivesGroupement et agrégation de donnéesDifférentes agrégationsFusion et concaténation