Pembersihan Data: Data yang Hilang

Biasanya, file CSV berisi data yang hilang, nama kolom yang tidak tepat, duplikat, nilai yang tidak tepat, dan tipe data yang tidak tepat. Module Pandas memiliki semua alat untuk menangani masalah ini.

Data yang Hilang

Untuk mengetahui apakah suatu nilai hilang atau tidak:

df.isna()

Untuk mengetahui jumlah nilai yang hilang di setiap kolom:

df.isna().sum()

Fungsi isna() mengubah semua nilai menjadi true atau false (hilang atau tidak), lalu menerapkan hasilnya. sum() akan memperlakukan true sebagai 1 dan false sebagai 0.

Untuk melakukan iterasi pada kolom dan jumlah nilai yang hilang, gunakan method items() seperti pada dictionary (meskipun ini adalah object series Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

Untuk mengisi semua nilai yang hilang di seluruh dataframe, gunakan method fillna():

df = df.fillna("some value")

Untuk mengisi nilai yang hilang hanya di satu kolom, gunakan fungsi fillna() pada kolom:

df["some_column"] = df["some_column"].fillna("some value")

Kamu juga bisa menghapus semua baris yang memiliki nilai hilang:

df = df.dropna()