Czyszczenie danych — brakujące dane

Zazwyczaj pliki CSV zawierają brakujące dane, nieprawidłowe nazwy kolumn, duplikaty, nieprawidłowe wartości i nieprawidłowe typy danych. Moduł Pandas ma wszystkie narzędzia potrzebne do radzenia sobie z tymi problemami.

Brakujące dane

Aby sprawdzić, czy brakuje wartości:

df.isna()

Aby sprawdzić, ile brakujących wartości ma każda kolumna:

df.isna().sum()

Funkcja isna() konwertuje wszystkie wartości na true lub false (brakujące lub nie), a następnie stosuje. sum() potraktuje true jako 1, a false jako 0.

Aby iterować po kolumnach i liczbie brakujących wartości w każdej z nich, użyj metody items(), tak jak w przypadku słownika (chociaż jest to obiekt serii Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Aby uzupełnić wszystkie brakujące wartości w całej ramce danych, użyj metody fillna():

df = df.fillna("some value")

Aby uzupełnić brakujące wartości tylko w jednej kolumnie, użyj funkcji fillna() dla tej kolumny:

df["some_column"] = df["some_column"].fillna("some value")

Możesz też usunąć wszystkie wiersze z brakującymi wartościami:

df = df.dropna()