NA trong R: xử lý giá trị thiếu (is.na, na.rm, na.omit)

NA nghĩa là "không biết", và nó lan ra

Dữ liệu thực tế luôn có lỗ hổng: câu hỏi khảo sát bị bỏ trống, cảm biến bỏ lỡ một lần đo. R biểu diễn mỗi lỗ hổng bằng NA, viết tắt của not available (không có sẵn). Mô hình tư duy quan trọng nhất: NA không phải số 0, không phải chuỗi rỗng, không phải một con số đặc biệt. Nó có nghĩa là "ở đây có một giá trị, nhưng ta không biết đó là gì."

Hiểu đúng điều này thì cách R hoạt động trở nên hợp lý. Một số không biết cộng một là bao nhiêu? Không biết. Trung bình của 4, 8 và một số không biết là bao nhiêu? Không biết, vì giá trị thiếu có thể là bất cứ số nào, nên trung bình cũng có thể là bất cứ số nào:

print(NA + 1)
print(mean(c(4, 8, NA)))
print(sum(c(4, 8, NA)))

Cả ba dòng đều in ra NA. Tính lây lan này là tính năng, không phải bug: R từ chối âm thầm giả vờ biết một đáp án mà nó không biết. Một bảng tính tự động bỏ qua ô trống có thể che giấu việc nửa cột bị thiếu; R buộc bạn phải nhận ra và quyết định giá trị thiếu có ý nghĩa gì với phân tích của mình. Phần còn lại của bài viết là về cách đưa ra quyết định đó một cách có chủ đích.

Kiểm tra NA: is.na(), không bao giờ dùng ==

Đây là cái bẫy đầu tiên ai cũng mắc. Bạn muốn tìm các giá trị thiếu nên viết một phép so sánh, và nó không chạy đúng:

x <- c(4, NA, 8)

print(x == NA)
print(is.na(x))

x == NA trả về NA NA NA, không có một TRUE nào. Tại sao? Hãy theo logic của "không biết": 4 có bằng một giá trị không biết không? Không thể nói được, vì giá trị đó có thể là 4. Ngay cả ô NA khi so sánh cũng cho ra NA: một giá trị không biết có bằng một giá trị không biết khác không? Không biết. So sánh với NA không bao giờ trả về TRUE hay FALSE, nên dùng làm phép kiểm tra là vô dụng, và tệ hơn, một mặt nạ toàn NA bên trong [ ] sẽ không chọn đúng những gì bạn mong đợi.

Công cụ đúng là is.na(), được tạo ra để trả lời chính câu hỏi này và trả về giá trị logic rõ ràng: FALSE TRUE FALSE. Từ đó có hai cách viết bạn sẽ dùng thường xuyên:

x <- c(4, NA, 8, NA, 15)

print(sum(is.na(x)))
print(which(is.na(x)))
print(x[!is.na(x)])

sum(is.na(x)) đếm số giá trị thiếu (TRUE được cộng như 1); hãy chạy nó trên mọi cột của một bộ dữ liệu mới trước khi làm bất cứ điều gì. which(is.na(x)) cho biết vị trí của chúng. Còn x[!is.na(x)] chỉ giữ lại các giá trị có thật, tức là loại bỏ thủ công bằng mặt nạ logic, cùng kiểu lọc vector quen thuộc.

Bỏ qua NA khi tóm tắt: na.rm = TRUE

Thường thì bạn không cần tự tay loại bỏ NA, vì các hàm tóm tắt của R có sẵn lối thoát: đối số na.rm (NA remove, tức bỏ NA):

x <- c(4, NA, 8)

print(mean(x))
print(mean(x, na.rm = TRUE))
print(sum(x, na.rm = TRUE))
print(max(x, na.rm = TRUE))

Với na.rm = TRUE, hàm bỏ các giá trị thiếu và tính trên phần còn lại: trung bình của 4 và 8 là 6. sum(), sd(), median(), min(), max(), var(): cả nhóm hàm thống kê mô tả đều nhận đối số này.

Để ý rằng giá trị mặc định là FALSE. Đó là R đang chủ động bảo vệ bạn: nó muốn việc bỏ qua dữ liệu thiếu phải là một lựa chọn tường minh bạn viết ra, không phải một mặc định âm thầm. Khi gõ na.rm = TRUE, bạn đang khẳng định "ở đây bỏ qua các giá trị thiếu là an toàn". Điều đó đúng khi một cảm biến ngẫu nhiên bỏ lỡ vài lần đo, và sai một cách nguy hiểm khi, chẳng hạn, những người thu nhập thấp nhất bỏ qua câu hỏi về thu nhập. Đối số này buộc bạn chịu trách nhiệm cho quyết định đó.

Loại bỏ hàng thiếu dữ liệu: na.omit() và complete.cases()

Trong một data frame, giá trị thiếu nằm ở từng ô, nhưng phân tích thường làm việc theo từng hàng, nên thao tác phổ biến là loại bỏ các hàng có bất kỳ NA nào:

df <- data.frame(
  name = c("Rosa", "Ken", "Mia"),
  age = c(30, NA, 26),
  score = c(88, 75, NA)
)

print(na.omit(df))
print(complete.cases(df))
print(df[complete.cases(df), ])

na.omit(df) trả về data frame sau khi bỏ mọi hàng chứa ít nhất một NA; ở đây chỉ còn Rosa. complete.cases(df) trả về mặt nạ logic theo hàng (TRUE FALSE FALSE) đứng sau cùng ý tưởng đó, và lập chỉ mục bằng nó cho kết quả giống hệt nhưng có hai lợi thế: bạn có thể đếm trước số hàng sắp mất (sum(!complete.cases(df))), và có thể giới hạn những cột cần xét. df[complete.cases(df[, "age"]), ] chỉ bỏ những hàng thiếu age, nên vẫn giữ Mia dù điểm của cô ấy không xác định.

Dạng giới hạn theo cột này quan trọng hơn vẻ ngoài của nó: na.omit() trên một data frame nhiều cột có thể âm thầm loại bỏ phần lớn số hàng chỉ vì NA ở những cột bạn không hề định phân tích. Hãy biết mình đang bỏ bao nhiêu hàng, và vì sao, trước khi bỏ.

Thay thế NA

Đôi khi cách đúng là lấp lỗ hổng thay vì xóa hàng. Cách viết thường dùng kết hợp is.na() với phép gán:

visits <- c(3, NA, 7, NA, 2)

visits[is.na(visits)] <- 0
print(visits)
print(mean(visits))

Hãy đọc là: "ở những ô mà visits bị thiếu, đặt giá trị 0." Cách này hợp lệ đúng khi NA biểu thị một giá trị đã biết: một khách hàng không có bản ghi lượt ghé thăm thực sự có 0 lượt ghé thăm.

Nhưng hãy trung thực về việc khi nào điều đó đúng. Nếu NA nghĩa là "ta đã không đo được", thì thay bằng 0 là bịa dữ liệu: thay điểm thi bị thiếu bằng 0 sẽ kéo trung bình xuống như thể những học sinh đó được điểm 0, trong khi thật ra bạn không biết họ được bao nhiêu. Hãy so trung bình ở trên (2,4) với trung bình dùng na.rm của dữ liệu gốc (4): cùng dữ liệu, hai khẳng định khác nhau. Thay bằng trung bình hoặc trung vị ít méo hơn nhưng vẫn làm giảm độ biến thiên. Quy tắc: chỉ điền một giá trị khi bạn có thể giải thích bằng lời đơn giản vì sao đó chính là giá trị thật của ô bị thiếu. Nếu không, hãy giữ NA và dùng na.rm: "không biết" thường là giá trị trung thực nhất trong bộ dữ liệu.

NA, NULL, NaN và Inf

R có bốn giá trị đặc biệt trông giống nhau nhưng mang ý nghĩa thực sự khác nhau:

print(0 / 0)
print(1 / 0)
print(length(NULL))
print(c(1, NULL, 3))
print(is.na(NaN))

Những khác biệt quan trọng trong thực tế: NULL biến mất bên trong vector (c(1, NULL, 3) có hai phần tử, nên nó không thể biểu diễn một quan sát bị thiếu), còn NA vẫn giữ chỗ của mình. NaN được tính là thiếu (is.na(NaN) là TRUE, nên na.rm cũng loại bỏ nó), nhưng chiều ngược lại thì sai: is.nan(NA) là FALSE. Còn Inf không phải giá trị thiếu: nó là một số thật, so sánh được (Inf > 1e300 là TRUE), nên na.rm không loại bỏ nó; hãy dùng is.finite() để chỉ giữ lại các số bình thường.

Để đầy đủ: NA âm thầm có nhiều dạng theo kiểu (NA_integer_, NA_real_, NA_character_) để có thể nằm trong bất kỳ vector nào mà không phá vỡ quy tắc một kiểu dữ liệu. Bạn hiếm khi phải gõ chúng, nhưng sẽ gặp chúng trong code của package và thông báo lỗi của dplyr.

Những điều cần nhớ

• NA nghĩa là "không biết", và cái không biết thì lây lan: mọi phép tính chạm vào NA đều trả về NA, và đó là thiết kế có chủ ý.
• Kiểm tra bằng is.na(), không bao giờ bằng == NA; đếm lỗ hổng bằng sum(is.na(x)).
• na.rm = TRUE khiến các hàm tóm tắt bỏ qua NA, một quyết định tường minh cho từng lần gọi rằng các giá trị thiếu có thể bỏ qua.
• na.omit() loại bỏ toàn bộ các hàng thiếu dữ liệu; complete.cases() cho bạn mặt nạ, đếm được và giới hạn được theo những cột quan trọng.
• Chỉ thay NA (x[is.na(x)] <- value) khi bạn giải thích được giá trị bị thiếu thực sự là gì.
• NA ≠ NULL ≠ NaN ≠ Inf: giá trị thiếu, đối tượng vắng mặt, phép toán không xác định, số không giới hạn.

Tiếp theo: hàm (function), đóng gói logic thành những phần có tên và dùng lại được.