ניקוי נתונים - נתונים חסרים

בדרך כלל, קובצי CSV מכילים נתונים חסרים, שמות עמודות שגויים, כפילויות, ערכים שגויים וסוגי נתונים שגויים. במודול Pandas יש את כל הכלים לטיפול בבעיות האלה.

נתונים חסרים

כדי לבדוק אם ערך חסר או לא:

df.isna()

כדי לדעת כמה ערכים חסרים יש בכל עמודה:

df.isna().sum()

הפונקציה isna()‎ ממירה את כל הערכים ל-true או ל-false (חסר או לא חסר), ואז מחזירה את התוצאה. sum() מתייחסת ל-true כאל 1 ול-false כאל 0.

כדי לעבור על העמודות ועל מספר הערכים החסרים בהן, השתמשו בשיטה items() בדיוק כמו במילון (אף על פי שמדובר באובייקט series של Pandas):

for column, missing_num in df.isna().sum().items():
	print(column, missing_num)

כדי למלא את כל הערכים החסרים האלה בכל מסגרת הנתונים, השתמשו בשיטה fillna():

df = df.fillna("some value")

כדי למלא ערכים חסרים בעמודה אחת בלבד, השתמשו בפונקציה fillna()‎ עבור עמודה:

df["some_column"] = df["some_column"].fillna("some value")

אפשר גם להסיר את כל השורות שיש בהן ערכים חסרים:

df = df.dropna()