Retrasos de trenes
Parte de la sección Estadística para ML del Journey de Machine Learning de Coddy. Lección 61 de 64.
Dos líneas de cercanías, Maple y Birch, comparten una estación. Durante 24 días, se registró cuánto se retrasó el tren de hora punta de cada línea, en trains.csv:
Tres fallos de señalización retrasaron los trenes una hora o más: es real, pero suficiente para distorsionar cualquier promedio.
El gerente pregunta: ¿Maple realmente llega más tarde o la diferencia podría deberse al azar? Modera los valores extremos y después deja que el barajado decida.
Desafío
DifícilEl programa lee el factor de límite k; 1.5 es la regla del diagrama de caja.
- Establece límites para todos los retrasos en
Q1 - k * IQRyQ3 + k * IQR, cuenta los valores atípicos y después limita cada retraso connp.clip. - Muestra la media de los retrasos limitados de cada línea y la diferencia, Maple menos Birch.
- Mezcla los datos 2000 veces: primero agrupa los retrasos limitados de Maple y después los de Birch, usa un
rng.permutationpor ronda y toma los primeros 24 como Maple ficticio. - Muestra el valor p, ignorando el signo, y el veredicto:
unlikely to be chancesi es menor que 0.05; de lo contrario,could be chance.
Redondea a 2 decimales y p a 3. Para k = 2:
Fences: 0.25 to 26.5 (3 outliers)
Maple mean: 15.27
Birch mean: 12.21
Difference: 3.06
p-value: 0.03
Verdict: unlikely to be chance¿Se mantiene el veredicto con un valor de k más estricto o más flexible?
Pruébalo tú mismo
import numpy as np
import pandas as pd
k = float(input())
df = pd.read_csv("trains.csv")
delays = df["delay_min"]
# No cambies la línea de abajo
rng = np.random.default_rng(5)
# Escribe tu código a continuación
Ponte a pruebaEsta lección incluye un breve cuestionario. Empieza la lección para responderlo y registrar tu progreso.
Todas las lecciones de Estadística para ML
1Centro y dispersión
Media y medianaPercentiles y cuartilesVarianza y desviación estándar¿Muestra o población?El valor más frecuenteRepaso: tiempos de entrega4Muestras y poblaciones
Población y muestraLas medias muestrales varíanLa distribución muestralMuestras más grandes, menos ruidoRepaso: Encuestar a un pueblo7Líneas de tendencia
ResiduosAjuste por mínimos cuadradosTrazar el ajustePredecir con una línea¿Qué tan bueno es el ajuste?Repaso: horas de práctica10Codificación de categorías
Categorías como númerosCodificación one-hotAgrupación de números en intervalosRepaso: anuncios de autos2Distribuciones
Histogramas de densidadFormas de los datosCurva normalRegla del 68-95-99,7Puntuaciones zRepaso: duración de la batería5Valores atípicos
Diagramas de cajaLa regla del RICLa regla del valor ZTratamiento de valores atípicosRepaso: fallos de los sensores3Probabilidad mediante simulación
La probabilidad como frecuenciaLa ley de los grandes númerosSuma de dadosValor esperadoProbabilidad condicionalRepaso: probabilidades del puesto de dados6Relaciones
Lectura de diagramas de dispersiónCorrelaciónMatriz de correlaciónMapas de calor de correlaciónCorrelación no es causalidadRepaso: helado y sol9Escalado de características
Por qué escalar las característicasEscalado mín-máxEstandarizaciónStandardScalerRepaso: compañeros de escaladaPractica por tu cuenta: Compilador de Python online