Merge e Concat
Lição 17 de 19 do curso Análise com Pandas da Coddy.
No mundo real, os dados geralmente vêm de várias tabelas ou arquivos. Para conectar e analisar esses dados, devemos ser capazes de combinar conjuntos de dados. Para combinar dataframes, podemos usar .merge(), .join() e .concat().
.merge() é semelhante à operação JOIN do SQL; ele conecta colunas ou índices em um dataframe com base em uma ou mais chaves:
merged_df = df1.merge(df2, on='common_column')Por exemplo, estas duas tabelas:
| ID | VALUE |
| 1 | "val1" |
| 2 | "val2 |
| ID | POINTS |
| 1 | 9 |
Se tornarão:
| ID | VALUE | POINTS |
| 1 | "val1" | 9 |
A função .concat() é usada para anexar linhas de um dataframe ao final de outro dataframe, retornando um novo dataframe. Esta operação é semelhante à operação 'UNION' no SQL:
concatenated_df = pd.concat([df1, df2])
Desafio
FácilO arquivo CSV visits.csv contém informações sobre quantas visitas foram feitas em um local específico em um horário específico.
Aqui estão as primeiras 5 linhas do arquivo:
location_id,visits,timestamp
8,1771,27498
9,4187,79919
0,4959,54228
6,7721,41588Calcule o min, max, mean, std, sum e median para cada id de local e combine-os em um único dataframe. Renomeie as colunas para:
sum_visits, min_visits, max_visits, mean_visits, std_visits e median_visits.
O dataframe final deve se parecer com:
| location_id | sum_visits | min_visits | max_visits | mean_visits | std_visits | median_visits |
| ... | ... | ... | ... | ... | ... | ... |
Salve o resultado em df.
Experimente você mesmo
# pandas como pd já está importado
df = pd.read_csv("./visits.csv")
sum_visits = df.groupby("location_id").sum()
min_visits = df.groupby("location_id").min()
max_visits = df.groupby("location_id").max()
mean_visits = df.groupby("location_id").mean()
std_visits = df.groupby("location_id").std()
median_visits = df.groupby("location_id").median()
# Escreva seu código abaixo
Todas as lições de Análise com Pandas
4Análise de Dados com Pandas
Estatística DescritivaAgrupamento e Agregação de DadosDiferentes AgregaçõesMerge e Concat2Trabalhando com o DataFrame
Entendendo DataFramesAcessando DadosLimpeza de Dados - Dados ausentesLimpeza de Dados - Mais ferramentas3Manipulação de Dados com Pandas
Retornar Resultado SolicitadoFiltrar DadosAdicionar e ExcluirModificar DadosModificar StringsModificações Personalizadas