Lọc dữ liệu trong R: subset, [ ] và filter của dplyr

Lọc hàng: mặt nạ logic

Để lọc một data frame trong R, đặt điều kiện vào vị trí hàng trong ngoặc vuông: df[condition, ]. Điều kiện được đánh giá thành một vector TRUE/FALSE, mỗi hàng một giá trị, và R giữ lại các hàng TRUE:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana", "Eli"),
    team  = c("red", "blue", "red", "blue", "red"),
    score = c(91, 74, 88, 95, 62)
)

high <- scores[scores$score > 80, ]
print(high)

Đọc scores[scores$score > 80, ] từ trong ra ngoài: scores$score > 80 tạo ra TRUE FALSE TRUE TRUE FALSE, và ngoặc vuông giữ lại các hàng 1, 3 và 4. Dấu phẩy ở cuối không phải tùy chọn. Ngoặc vuông trên data frame nhận [rows, columns]; để trống vị trí cột nghĩa là "mọi cột". Quên dấu phẩy là bạn đang lấy cột thay vì hàng, một trong những lỗi phổ biến nhất của người mới học R.

Để ý số thứ tự hàng được in ra là 1 3 4, không phải 1 2 3: lọc dữ liệu giữ nguyên nhãn hàng ban đầu. Vô hại, nhưng nhiều người bất ngờ.

Nhiều điều kiện: & và | (không phải &&)

Kết hợp các điều kiện bằng & (AND) và | (OR). Mỗi điều kiện phải là một phép so sánh đầy đủ:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana", "Eli"),
    team  = c("red", "blue", "red", "blue", "red"),
    score = c(91, 74, 88, 95, 62)
)

print(scores[scores$score > 80 & scores$team == "red", ])
print(scores[scores$score > 90 | scores$score < 70, ])

Cái bẫy: R cũng có && và ||, và ở đây chúng không thay thế được cho & và |. Dạng kép dùng cho giá trị đơn lẻ (chúng tồn tại cho điều kiện if); khi nhận cả cột, R hiện đại (4.3+) dừng với lỗi kiểu 'length = 5' in coercion to 'logical(1)', còn R cũ hơn lặng lẽ chỉ so sánh hàng đầu tiên, có lẽ còn tệ hơn. Bên trong ngoặc vuông, luôn dùng & và | đơn. Bài về toán tử giải thích đầy đủ sự khác biệt này.

%in%: so khớp với một tập giá trị

Khi một cột cần khớp với bất kỳ giá trị nào trong vài giá trị, đừng nối == bằng |, hãy dùng %in%:

orders <- data.frame(
    id     = 1:6,
    status = c("paid", "pending", "paid", "refunded", "shipped", "pending")
)

open <- orders[orders$status %in% c("pending", "shipped"), ]
print(open)

x %in% set trả về TRUE ở mọi chỗ x là một trong các giá trị của set. Nó dễ đọc hơn status == "pending" | status == "shipped", mở rộng được cho bao nhiêu giá trị cũng được, và phủ định gọn gàng: !(orders$status %in% c("refunded")).

Chọn cột

Vị trí cột trong ngoặc vuông nhận tên hoặc vị trí:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen"),
    team  = c("red", "blue", "red"),
    score = c(91, 74, 88)
)

print(scores[, c("name", "score")])            # by name - prefer this
print(scores[scores$team == "red", "score"])   # rows AND columns at once

Hai lưu ý. Chọn theo tên vẫn đúng khi thứ tự cột thay đổi; chọn theo vị trí (scores[, c(1, 3)]) sẽ hỏng vào ngày ai đó chèn thêm một cột. Và lấy một cột duy nhất sẽ trả về vector thường, không phải data frame: đó là lý do print() thứ hai hiện 91 88 mà không có bảng bao quanh. Khi cần giữ hình dạng data frame, thêm drop = FALSE: scores[, "score", drop = FALSE].

subset(): cách viết một dòng thân thiện của base R

Base R có sẵn một hàm bao gói xử lý cả hàng lẫn cột trong một lần gọi dễ đọc, không cần $, không phải lo dấu phẩy:

scores <- data.frame(
    name  = c("Ana", "Ben", "Chen", "Dana"),
    team  = c("red", "blue", "red", "blue"),
    score = c(91, 74, 88, 95)
)

print(subset(scores, score > 80))
print(subset(scores, team == "red", select = c(name, score)))

Bên trong subset() bạn viết tên cột trần (score, không phải scores$score); hàm sẽ đánh giá chúng dựa trên data frame. Cơ chế này gọi là đánh giá phi chuẩn (non-standard evaluation), và nó đi kèm một lưu ý đã được ghi trong tài liệu: nó phân giải tên lúc chạy theo những cách hoạt động sai bên trong hàm của chính bạn (một biến tên score trong hàm có thể bị che bởi một cột tên score). Quy tắc kinh nghiệm, lấy thẳng từ ?subset: rất tốt khi làm việc tương tác, nhưng tránh dùng khi lập trình; ở đó hãy dùng chỉ số ngoặc vuông.

Cái bẫy NA

So sánh với NA cho ra NA, không phải FALSE, và lọc bằng ngoặc vuông giữ các hàng có mặt nạ NA thành những hàng toàn NA:

df <- data.frame(name = c("Ana", "Ben", "Chen"), score = c(91, NA, 62))

print(df[df$score > 80, ])                     # ghost NA row appears
print(df[!is.na(df$score) & df$score > 80, ])  # explicit and clean

Kết quả đầu tiên chứa một hàng rác toàn NA vì điều kiện của hàng 2 không phải TRUE cũng không phải FALSE. Cách sửa là yêu cầu !is.na() một cách tường minh. subset() và filter() của dplyr đều lặng lẽ bỏ các hàng có điều kiện NA: tiện, nhưng hãy biết là điều đó đang xảy ra. Bài về giá trị thiếu giải thích vì sao NA lan truyền như vậy.

Cách của dplyr: filter() và select()

Package dplyr tách công việc thành hai động từ, filter() cho hàng và select() cho cột, với tên cột trần và không phải lặp lại df$ (code tĩnh; môi trường chạy thử chỉ chạy base R):

library(dplyr)

scores |> filter(score > 80)
scores |> filter(score > 80, team == "red")     # comma = AND
scores |> filter(status %in% c("pending", "shipped"))
scores |> select(name, score)
scores |> filter(team == "red") |> select(name, score)

filter() tự động bỏ các hàng có điều kiện NA và luôn trả về data frame (không bao giờ là vector trần), giải quyết cả hai cái bẫy của base R ở trên. Cái giá là phụ thuộc vào một package và cùng những lưu ý về đánh giá phi chuẩn như subset(); xem bài nhập môn dplyr để đi hết các động từ.

Những điều cần nhớ

• df[condition, ] là cách làm nền tảng, và dấu phẩy là bắt buộc.
• Kết hợp điều kiện bằng & và | đơn; && báo lỗi với vector.
• %in% tốt hơn chuỗi == khi so khớp với một tập giá trị.
• Chọn cột theo tên, và nhớ rằng một cột đơn sẽ rơi xuống thành vector trừ khi có drop = FALSE.
• subset() là cách viết một dòng dễ chịu khi làm việc tương tác; ngoặc vuông là cách dùng được khi lập trình.
• So sánh với NA tạo ra hàng ma khi dùng ngoặc vuông; hãy chặn bằng !is.na().

Tiếp theo: thêm và biến đổi cột, df$new <- ..., ifelse() và mutate() của dplyr.