Data Cleaning - Missing data

عادةً ما تحتوي ملفات CSV على بيانات مفقودة، وأسماء أعمدة غير صحيحة، وتكرارات، وقيم غير صحيحة، وأنواع بيانات غير صحيحة. تحتوي وحدة Pandas على جميع الأدوات للتعامل مع هذه المشكلات.

البيانات المفقودة

لمعرفة ما إذا كانت القيمة مفقودة أم لا:

df.isna()

لمعرفة عدد القيم المفقودة في كل عمود:

df.isna().sum()

تقوم الدالة isna() بتحويل جميع القيم إلى true أو false (مفقودة أم لا)، ثم يتم التطبيق. ستعامل sum() القيمة true كـ 1 و false كـ 0.

للتكرار عبر الأعمدة وعدد القيم المفقودة فيها، استخدم التابع items() تماماً كما هو الحال في القاموس (على الرغم من أنه كائن Pandas series):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

لتعبئة كل تلك القيم المفقودة لإطار البيانات (dataframe) بالكامل، استخدم التابع fillna():

df = df.fillna("some value")

لتعبئة القيم المفقودة لعمود واحد فقط، استخدم الدالة fillna() على العمود:

df["some_column"] = df["some_column"].fillna("some value")

هناك أيضاً خيار لإزالة جميع الصفوف التي تحتوي على قيم مفقودة:

df = df.dropna()