Retards des trains
Fait partie de la section Statistiques pour le ML du Journey Machine Learning de Coddy. Leçon 61 sur 64.
Deux lignes de train de banlieue, Maple et Birch, partagent une station. Pendant 24 jours, on a relevé le retard du train de l’heure de pointe de chaque ligne, dans trains.csv :
Trois défaillances de signalisation ont retardé des trains d’une heure ou plus : c’est réel, mais suffisamment important pour fausser toute moyenne.
Le responsable demande : Maple est-il vraiment plus tardif, ou l’écart pourrait-il être dû au hasard ? Domptez les valeurs extrêmes, puis laissez le mélange décider.
Défi
DifficileLe programme lit le facteur de clôture k ; 1.5 est la règle de la boîte à moustaches.
- Borne tous les retards à
Q1 - k * IQRetQ3 + k * IQR, compte les valeurs aberrantes, puis plafonne chaque retard avecnp.clip. - Affiche la moyenne des retards plafonnés de chaque ligne et la différence, Maple moins Birch.
- Mélange 2000 fois : rassemble les retards plafonnés de Maple puis ceux de Birch, une permutation
rng.permutationpar tour, les 24 premiers servant de faux Maple. - Affiche la valeur p, sans tenir compte du signe, et la conclusion :
unlikely to be chanceen dessous de 0.05, sinoncould be chance.
Arrondis à 2 décimales, la valeur p à 3. Pour k = 2 :
Fences: 0.25 to 26.5 (3 outliers)
Maple mean: 15.27
Birch mean: 12.21
Difference: 3.06
p-value: 0.03
Verdict: unlikely to be chanceLa conclusion reste-t-elle valable pour un k plus strict ou plus souple ?
Essayez vous-même
import numpy as np
import pandas as pd
k = float(input())
df = pd.read_csv("trains.csv")
delays = df["delay_min"]
# Ne modifiez pas la ligne ci-dessous
rng = np.random.default_rng(5)
# Écrivez votre code ci-dessous
Cette leçon comprend un petit quiz. Commencez la leçon pour y répondre et suivre votre progression.
Toutes les leçons de Statistiques pour le ML
1Centre et dispersion
Moyenne et médianePercentiles et quartilesVariance et écart-typeÉchantillon ou population ?La valeur la plus fréquenteRécapitulatif : délais de livraison4Échantillons et populations
Population et échantillonLes moyennes d’échantillon varientLa distribution d’échantillonnageDes échantillons plus grands, moins de bruitRécapitulatif : sonder une ville2Distributions
Histogrammes de densitéFormes des donnéesLa courbe normaleLa règle des 68-95-99,7Scores zRécapitulatif : autonomie de la batterie5Valeurs aberrantes
Diagrammes en boîteLa règle de l’écart interquartileLa règle du score ZTraiter les valeurs aberrantesRécapitulatif : anomalies des capteurs3Les probabilités par simulation
La probabilité comme fréquenceLa loi des grands nombresSommes de désEspérance mathématiqueProbabilité conditionnelleRécapitulatif : les chances au stand de dés6Relations
Lire des nuages de pointsCorrélationMatrice de corrélationCartes thermiques de corrélationCorrélation n’est pas causalitéRécapitulatif : glace et soleil9Mise à l’échelle des caractéristiques
Pourquoi mettre les caractéristiques à l’échelleMise à l’échelle Min-MaxStandardisationStandardScalerRécapitulatif : partenaires d’escaladeEntraînez-vous par vous-même : Compilateur Python en ligne