Pulizia dei dati - Dati mancanti

Di solito, i file CSV contengono dati mancanti, nomi di colonne errati, duplicati, valori errati e tipi di dati errati. Il modulo Pandas ha tutti gli strumenti per gestire questi problemi.

Dati mancanti

Per scoprire se un valore è mancante oppure no:

df.isna()

Per sapere quanti valori mancanti ha ogni colonna:

df.isna().sum()

La funzione isna() converte tutti i valori in true o false (mancanti oppure no), quindi li somma. sum() considera true come 1 e false come 0.

Per iterare sulle colonne e sul numero dei rispettivi valori mancanti, usa il metodo items() proprio come in un dizionario (anche se si tratta di un oggetto serie Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Per riempire tutti quei valori mancanti nell'intero dataframe, usa il metodo fillna():

df = df.fillna("some value")

Per riempire i valori mancanti solo in una colonna, applica la funzione fillna() a una colonna:

df["some_column"] = df["some_column"].fillna("some value")

C'è anche un'opzione per rimuovere tutte le righe con valori mancanti:

df = df.dropna()