סינון וחיתוך נתונים ב-R (subset, [ ], dplyr filter)

סינון שורות: המסכה הלוגית

כדי לסנן data frame ב-R, שימו תנאי במיקום השורות בתוך הסוגריים: df[condition, ]. התנאי מוערך לווקטור של TRUE/FALSE, אחד לכל שורה, ו-R משאירה את השורות שהן TRUE:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana", "Eli"),
    team  = c("red", "blue", "red", "blue", "red"),
    score = c(91, 74, 88, 95, 62)
)

high <- scores[scores$score > 80, ]
print(high)

קראו את scores[scores$score > 80, ] מבפנים החוצה: scores$score > 80 מייצר TRUE FALSE TRUE TRUE FALSE, והסוגריים משאירים את שורות 1, 3 ו-4. הפסיק שבסוף אינו אופציונלי. סוגריים על data frame מקבלים [rows, columns]; השארת מקום העמודות ריק פירושה "כל העמודות". שכחו את הפסיק ואתם מאנדקסים עמודות במקום, אחת משגיאות המתחילים הנפוצות ביותר ב-R.

שימו לב שמספרי השורות המודפסים הם 1 3 4, לא 1 2 3: הסינון שומר את תוויות השורות המקוריות. לא מזיק, אבל זה מפתיע אנשים.

כמה תנאים: & ו-| (לא &&)

משלבים תנאים עם & (AND) ו-| (OR). כל תנאי מקבל השוואה שלמה משלו:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana", "Eli"),
    team  = c("red", "blue", "red", "blue", "red"),
    score = c(91, 74, 88, 95, 62)
)

print(scores[scores$score > 80 & scores$team == "red", ])
print(scores[scores$score > 90 | scores$score < 70, ])

המלכודת: ב-R יש גם && ו-||, והם לא ניתנים להחלפה עם & ו-| כאן. הצורות הכפולות עובדות על ערכים בודדים (הן קיימות בשביל תנאי if); כשמקבלות עמודות שלמות, R מודרנית (4.3 ומעלה) עוצרת עם שגיאה כמו 'length = 5' in coercion to 'logical(1)', וגרסאות R ישנות יותר השוו בשקט רק את השורה הראשונה, מה שאפשר לטעון שגרוע יותר. בתוך סוגריים, תמיד & ו-| הבודדים. המסמך על אופרטורים מסביר את ההבחנה במלואה.

%in%: התאמה מול קבוצת ערכים

כשעמודה צריכה להתאים לאחד מכמה ערכים, אל תשרשרו == עם |: השתמשו ב-%in%:

orders <- data.frame(
    id     = 1:6,
    status = c("paid", "pending", "paid", "refunded", "shipped", "pending")
)

open <- orders[orders$status %in% c("pending", "shipped"), ]
print(open)

x %in% set מחזיר TRUE בכל מקום שבו x הוא אחד מהערכים ב-set. זה נקרא טוב יותר מ-status == "pending" | status == "shipped", מתאים לכל מספר של ערכים, ומתהפך בצורה נקייה: !(orders$status %in% c("refunded")).

בחירת עמודות

מקום העמודות בסוגריים מקבל שמות או מיקומים:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen"),
    team  = c("red", "blue", "red"),
    score = c(91, 74, 88)
)

print(scores[, c("name", "score")])            # by name - prefer this
print(scores[scores$team == "red", "score"])   # rows AND columns at once

שתי הערות. בחירה לפי שם שורדת שינוי בסדר העמודות; בחירה לפי מיקום (scores[, c(1, 3)]) נשברת ביום שמישהו מכניס עמודה. ובקשה של עמודה בודדת מחזירה וקטור רגיל, לא data frame: זו הסיבה שה-print() השני מציג 91 88 בלי טבלה מסביב. כשאתם צריכים לשמור על צורת ה-data frame, הוסיפו drop = FALSE: scores[, "score", drop = FALSE].

subset(): ה-one-liner הידידותי של base

Base R מגיעה עם פונקציה עוטפת שמטפלת בשורות ובעמודות בקריאה אחת קריאה, בלי $ ובלי הנהלת חשבונות של פסיקים:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana"),
    team  = c("red", "blue", "red", "blue"),
    score = c(91, 74, 88, 95)
)

print(subset(scores, score > 80))
print(subset(scores, team == "red", select = c(name, score)))

בתוך subset() כותבים שמות עמודות חשופים (score, לא scores$score): היא מעריכה אותם מול ה-data frame. זה נקרא הערכה לא סטנדרטית, ויש לזה הסתייגות מתועדת: היא מפענחת שמות בזמן ריצה בדרכים שמתנהגות לא טוב בתוך פונקציות שאתם כותבים (משתנה בשם score בפונקציה שלכם יכול להיות מוסתר על ידי עמודה בשם score). כלל האצבע, ישר מ-?subset: מצוינת בעבודה אינטראקטיבית, הימנעו ממנה בתכנות: שם השתמשו באינדוקס בסוגריים.

מלכודת ה-NA

השוואה מול NA נותנת NA, לא FALSE, וסינון בסוגריים משאיר שורות שהמסכה שלהן NA כשורות מלאות ב-NA:

df <- data.frame(name = c("Ana", "Ben", "Chen"), score = c(91, NA, 62))

print(df[df$score > 80, ])                     # ghost NA row appears
print(df[!is.na(df$score) & df$score > 80, ])  # explicit and clean

התוצאה הראשונה מכילה שורת זבל של NA כי התנאי של שורה 2 לא היה TRUE וגם לא FALSE. התיקון הוא לדרוש !is.na() במפורש. subset() ו-filter() של dplyr משמיטות שתיהן בשקט שורות שהתנאי שלהן NA: נוח, אבל דעו שזה קורה. המסמך על ערכים חסרים מסביר למה NA מתפשט כך.

הדרך של dplyr: filter() ו-select()

החבילה dplyr מפצלת את העבודה לשני פעלים, filter() לשורות ו-select() לעמודות, עם שמות עמודות חשופים ובלי חזרה על df$ (סטטי; סביבת ההרצה מריצה רק base R):

library(dplyr)

scores |> filter(score > 80)
scores |> filter(score > 80, team == "red")     # comma = AND
scores |> filter(status %in% c("pending", "shipped"))
scores |> select(name, score)
scores |> filter(team == "red") |> select(name, score)

filter() משמיטה אוטומטית שורות שהתנאי שלהן NA ותמיד מחזירה data frame (אף פעם לא וקטור חשוף), וזה מסיר את שתי המלכודות של base שלמעלה. המחיר הוא תלות בחבילה ואותן הסתייגויות של הערכה לא סטנדרטית כמו ב-subset(): ראו את המבוא ל-dplyr לסיור המלא בפעלים.

מה לקחת מכאן

• df[condition, ] הוא הביטוי הבסיסי, והפסיק חובה.
• שלבו תנאים עם & ו-| בודדים; && נותן שגיאה על וקטורים.
• %in% עדיף על שרשור של == להתאמה מול קבוצת ערכים.
• בחרו עמודות לפי שם, וזכרו שעמודות בודדות יורדות לווקטורים אלא אם drop = FALSE.
• subset() הוא ה-one-liner הנעים לעבודה אינטראקטיבית; סוגריים הם הדרך שמתאימה לתכנות.
• השוואות עם NA מייצרות שורות רפאים בסוגריים: הגנו עם !is.na().

הבא בתור: הוספה ושינוי של עמודות: df$new <- ..., ifelse() ו-mutate() של dplyr.