Quy tắc điểm Z

Một trang trại cân 300 quả trứng, rồi tự nhập hai giá trị: 6.2 g và 94.6 g, cả hai đều bị nhập sai. Điểm z (khoảng cách tính từ giá trị trung bình, theo đơn vị độ lệch chuẩn) cho thấy điều đó:

np.abs loại bỏ dấu trừ, nên chỉ cần một phép so sánh để bắt cả hai phía:

rng = np.random.default_rng(3)
eggs = np.concatenate([rng.normal(60, 4, size=300), np.array([6.2, 94.6])])
z = (eggs - eggs.mean()) / eggs.std()
print(np.abs(np.array([-4, 2, -1])))
print(eggs[np.abs(z) > 3])

Kết quả in ra là:

[4 2 1]
[ 6.2 94.6]

Với dữ liệu có dạng hình chuông, 99.7% giá trị nằm trong phạm vi 3 std, vì vậy np.abs(z) > 3 đánh dấu các giá trị hiếm cần kiểm tra trước khi huấn luyện.

Nhưng một giá trị ngoại lai làm tăng độ lệch chuẩn được dùng để đo nó, nên mẫu nhỏ có thể che khuất giá trị này: hãy dùng quy tắc IQR trong trường hợp đó.