Est-ce dû au hasard ?

Cinq lecteurs d’une police sans empattement ont battu cinq lecteurs d’une police avec empattement de 6,6 secondes. Si la police ne changeait rien, n’importe quelle durée pourrait se retrouver dans l’un ou l’autre groupe. Mélangeons les valeurs pour illustrer cela :

rng.permutation(a) renvoie une copie mélangée. Répétez l’opération 1000 fois et conservez chaque écart fictif :

serif = np.array([52, 47, 58, 50, 55])
sans = np.array([45, 49, 41, 50, 44])
pooled = np.concatenate([serif, sans])
rng = np.random.default_rng(4)
diffs = []
for i in range(1000):
    shuffled = rng.permutation(pooled)
    diffs.append(shuffled[5:].mean() - shuffled[:5].mean())

Les écarts dus au hasard s’accumulent autour de 0 ; l’écart réel se trouve près du bord. Il s’agit d’un test de permutation.

Avant de croire qu’un modèle en surpasse un autre, vérifie que le fait de mélanger les données ne crée que rarement un écart aussi important.