Có thể chỉ là ngẫu nhiên không?

Năm người đọc với phông chữ sans nhanh hơn năm người đọc với phông chữ serif 6.6 giây. Nếu phông chữ không làm thay đổi gì, thì thời gian bất kỳ đều có thể thuộc nhóm nào. Hãy xáo trộn để mô phỏng điều đó:

rng.permutation(a) trả về một bản sao đã xáo trộn. Lặp lại 1000 lần và giữ lại mọi chênh lệch giả:

serif = np.array([52, 47, 58, 50, 55])
sans = np.array([45, 49, 41, 50, 44])
pooled = np.concatenate([serif, sans])
rng = np.random.default_rng(4)
diffs = []
for i in range(1000):
    shuffled = rng.permutation(pooled)
    diffs.append(shuffled[5:].mean() - shuffled[:5].mean())

Các khoảng cách ngẫu nhiên tập trung quanh 0; khoảng cách thực nằm gần rìa. Đây là một phép kiểm định hoán vị.

Trước khi tin rằng mô hình này tốt hơn mô hình kia, hãy kiểm tra xem việc xáo trộn có hiếm khi tạo ra khoảng cách lớn đến vậy hay không.