Récapitulatif : anomalies des capteurs
Fait partie de la section Statistiques pour le ML du Journey Machine Learning de Coddy. Leçon 28 sur 64.
Défi
MoyenTu te souviens des points isolés du diagramme en boîte ? Le capteur d’une réserve de musée enregistre l’humidité toutes les 15 minutes dans readings, et il arrive qu’il fasse des erreurs.
- Affiche le nombre de relevés signalés par chaque règle : en dehors des bornes de l’IQR, et avec un score z supérieur à 3 dans un sens ou dans l’autre.
- Limite les relevés aux bornes de l’IQR, puis affiche la moyenne avant et après, arrondie à 2 décimales.
- Dessine des diagrammes en boîte côte à côte, intitulés
Before(les relevés) etAfter(les relevés limités), tous deux avec l’étiquette d’axe yHumidity (%).
Pour le journal d’un autre jour, le programme affiche :
IQR glitches: 3
Z-score glitches: 2
Mean before: 51.69
Mean after: 51.89et dessine cette figure (Coddy décrira ensuite la tienne) :
Essayez vous-même
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
log = pd.read_csv("humidity.csv")
readings = log["humidity"]
# Écrivez votre code ci-dessous
Toutes les leçons de Statistiques pour le ML
1Centre et dispersion
Moyenne et médianePercentiles et quartilesVariance et écart-typeÉchantillon ou population ?La valeur la plus fréquenteRécapitulatif : délais de livraison4Échantillons et populations
Population et échantillonLes moyennes d’échantillon varientLa distribution d’échantillonnageDes échantillons plus grands, moins de bruitRécapitulatif : sonder une ville2Distributions
Histogrammes de densitéFormes des donnéesLa courbe normaleLa règle des 68-95-99,7Scores zRécapitulatif : autonomie de la batterie5Valeurs aberrantes
Diagrammes en boîteLa règle de l’écart interquartileLa règle du score ZTraiter les valeurs aberrantesRécapitulatif : anomalies des capteurs3Les probabilités par simulation
La probabilité comme fréquenceLa loi des grands nombresSommes de désEspérance mathématiqueProbabilité conditionnelleRécapitulatif : les chances au stand de dés6Relations
Lire des nuages de pointsCorrélationMatrice de corrélationCartes thermiques de corrélationCorrélation n’est pas causalitéRécapitulatif : glace et soleil9Mise à l’échelle des caractéristiques
Pourquoi mettre les caractéristiques à l’échelleMise à l’échelle Min-MaxStandardisationStandardScalerRécapitulatif : partenaires d’escaladeEntraînez-vous par vous-même : Compilateur Python en ligne