Şans Eseri Olabilir mi?

Sans yazı tipini okuyan beş kişi, serifli yazı tipini okuyan beş kişiden 6.6 saniye daha hızlıydı. Yazı tipi hiçbir şeyi değiştirmeseydi, her süre iki gruptan herhangi birinde yer alabilirdi. Bunu canlandırmak için karıştır:

rng.permutation(a) karıştırılmış bir kopya döndürür. Bunu 1000 kez tekrarlayın ve her sahte farkı saklayın:

serif = np.array([52, 47, 58, 50, 55])
sans = np.array([45, 49, 41, 50, 44])
pooled = np.concatenate([serif, sans])
rng = np.random.default_rng(4)
diffs = []
for i in range(1000):
    shuffled = rng.permutation(pooled)
    diffs.append(shuffled[5:].mean() - shuffled[:5].mean())

Şans farkları 0 çevresinde birikir; gerçek olanı kenara yakındır. Bu bir permütasyon testidir.

Bir modelin diğerinden daha iyi olduğuna güvenmeden önce, karıştırmanın nadiren bu kadar büyük bir fark yarattığını kontrol et.