Mungkinkah Ini Kebetulan?

Lima pembaca dengan font sans mengalahkan lima pembaca dengan font serif selama 6.6 detik. Jika font tidak mengubah apa pun, waktu mana pun bisa masuk ke kelompok mana pun. Acak untuk memperagakannya:

rng.permutation(a) mengembalikan salinan yang diacak. Ulangi 1000 kali dan simpan setiap selisih palsu:

serif = np.array([52, 47, 58, 50, 55])
sans = np.array([45, 49, 41, 50, 44])
pooled = np.concatenate([serif, sans])
rng = np.random.default_rng(4)
diffs = []
for i in range(1000):
    shuffled = rng.permutation(pooled)
    diffs.append(shuffled[5:].mean() - shuffled[:5].mean())

Kesenjangan peluang menumpuk di sekitar 0; nilai yang sebenarnya berada dekat tepi. Ini adalah uji permutasi.

Sebelum kamu yakin bahwa satu model mengungguli model lainnya, periksa apakah pengacakan jarang menghasilkan selisih sebesar itu.