Veri Temizleme - Eksik Veriler

Genellikle CSV dosyaları eksik veriler, yanlış sütun adları, kopyalar, yanlış değerler ve yanlış veri tipleri içerir. Pandas modülü, bu sorunları ele almak için tüm araçlara sahiptir.

Eksik Veriler

Bir değerin eksik olup olmadığını öğrenmek için:

df.isna()

Her sütunun kaç tane eksik değere sahip olduğunu bilmek için:

df.isna().sum()

isna() fonksiyonu tüm değerleri true veya false (eksik veya değil) değerine dönüştürür, ardından uygular. sum(), true değerini 1 ve false değerini 0 olarak kabul edecektir.

Sütunlar ve eksik değer sayıları üzerinde yineleme yapmak için, tıpkı bir sözlükte olduğu gibi items() metodunu kullanın (her ne kadar bu bir Pandas series nesnesi olsa da):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Tüm veri çerçevesi (dataframe) için tüm bu eksik değerleri doldurmak için tüm fillna() metodunu kullanın:

df = df.fillna("some value")

Eksik değerleri yalnızca bir sütun için doldurmak için, bir sütun üzerinde fillna() fonksiyonunu kullanın:

df["some_column"] = df["some_column"].fillna("some value")

Ayrıca eksik değer içeren tüm satırları kaldırma seçeneği de vardır:

df = df.dropna()