Czy to może być przypadek?

Pięciu czytelników kroju bezszeryfowego pokonało pięciu czytelników kroju szeryfowego o 6.6 sekundy. Gdyby krój pisma niczego nie zmieniał, dowolny czas mógłby znaleźć się w każdej grupie. Potasuj wyniki, aby to zobrazować:

rng.permutation(a) zwraca potasowaną kopię. Powtórz to 1000 razy i zachowaj każdą pozorną różnicę:

serif = np.array([52, 47, 58, 50, 55])
sans = np.array([45, 49, 41, 50, 44])
pooled = np.concatenate([serif, sans])
rng = np.random.default_rng(4)
diffs = []
for i in range(1000):
    shuffled = rng.permutation(pooled)
    diffs.append(shuffled[5:].mean() - shuffled[:5].mean())

Różnice szans skupiają się wokół 0; ta rzeczywista znajduje się blisko krawędzi. To test permutacyjny.

Zanim uznasz, że jeden model przewyższa drugi, sprawdź, czy losowe tasowanie rzadko powoduje tak dużą różnicę.