Fusion et concaténation
Leçon 17 sur 19 du cours Analyse de données avec Pandas de Coddy.
Dans le monde réel, les données proviennent souvent de plusieurs tables ou fichiers. Pour connecter et analyser ces données, nous devons être capables de combiner des ensembles de données. Pour combiner des dataframes, nous pouvons utiliser .merge(), .join(), et .concat().
.merge() est similaire à l'opération SQL JOIN ; il connecte des colonnes ou des index dans un dataframe sur la base d'une ou plusieurs clés :
merged_df = df1.merge(df2, on='common_column')Par exemple, ces deux tables :
| ID | VALEUR |
| 1 | "val1" |
| 2 | "val2 |
| ID | POINTS |
| 1 | 9 |
Deviendront :
| ID | VALEUR | POINTS |
| 1 | "val1" | 9 |
La fonction .concat() est utilisée pour ajouter les lignes d'un dataframe à la fin d'un autre dataframe, retournant un nouveau dataframe. Cette opération est similaire à l'opération 'UNION' en SQL :
concatenated_df = pd.concat([df1, df2])
Défi
FacileLe fichier CSV visits.csv contient des informations sur le nombre de visites effectuées à un endroit particulier à un moment donné.
Voici les 5 premières lignes du fichier :
location_id,visits,timestamp
8,1771,27498
9,4187,79919
0,4959,54228
6,7721,41588Calculez le min, max, mean, std, sum, et median pour chaque identifiant de lieu (location id) et combinez-les dans un seul dataframe. Renommez les colonnes en :
sum_visits, min_visits, max_visits, mean_visits, std_visits et median_visits.
Le dataframe final devrait ressembler à ceci :
| location_id | sum_visits | min_visits | max_visits | mean_visits | std_visits | median_visits |
| ... | ... | ... | ... | ... | ... | ... |
Enregistrez le résultat dans df.
Essayez vous-même
# pandas as pd est déjà importé
df = pd.read_csv("./visits.csv")
sum_visits = df.groupby("location_id").sum()
min_visits = df.groupby("location_id").min()
max_visits = df.groupby("location_id").max()
mean_visits = df.groupby("location_id").mean()
std_visits = df.groupby("location_id").std()
median_visits = df.groupby("location_id").median()
# Écrivez votre code ci-dessous
Toutes les leçons de Analyse de données avec Pandas
1Introduction
Pourquoi utiliser Pandas ?Structures de données dans PandasChargement de données dans un DataFrame4Analyse de données avec Pandas
Statistiques descriptivesGroupement et agrégation de donnéesDifférentes agrégationsFusion et concaténation