Datenbereinigung - Fehlende Daten

Normalerweise enthalten CSV-Dateien fehlende Daten, falsche Spaltennamen, Duplikate, falsche Werte und falsche Datentypen. Das Pandas-Modul verfügt über alle Werkzeuge, um diese Probleme zu beheben.

Fehlende Daten

Um herauszufinden, ob ein Wert fehlt oder nicht:

df.isna()

Um zu erfahren, wie viele fehlende Werte jede Spalte hat:

df.isna().sum()

Die isna()-Funktion konvertiert alle Werte in true oder false (fehlend oder nicht) und wendet sie dann an. sum() behandelt true als 1 und false als 0.

Um über die Spalten und deren Anzahl an fehlenden Werten zu iterieren, verwenden Sie die items()-Methode genau wie bei einem Dictionary (obwohl es sich um ein Pandas-Series-Objekt handelt):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Um all diese fehlenden Werte für den gesamten Dataframe auszufüllen, verwenden Sie die fillna()-Methode:

df = df.fillna("some value")

Um fehlende Werte nur für eine Spalte auszufüllen, verwenden Sie die fillna()-Funktion über eine Spalte:

df["some_column"] = df["some_column"].fillna("some value")

Es gibt auch die Option, alle Zeilen mit fehlenden Werten zu entfernen:

df = df.dropna()