Die Z-Score-Regel

Teil des Abschnitts Statistik für ML der Machine Learning-Journey von Coddy. Lektion 26 von 64.

Ein Bauernhof wog 300 Eier und tippte anschließend zwei davon von Hand ein: 6.2 g und 94.6 g, beides Tippfehler. Ihre z-Scores (Abstände vom Mittelwert, in Standardabweichungen) verraten sie:

Ein Histogramm von 300 Eigewichten als z-Scores, alle zwischen -3 und 3 innerhalb eines schattierten Bereichs, der mit innerhalb von 3 Standardabweichungen markiert ist. Zwei rote Punkte liegen weit außerhalb davon: 6.2 g bei z = -9.9 und 94.6 g bei z = 6.3

np.abs entfernt Minuszeichen, sodass ein Vergleich beide Seiten erfasst:

rng = np.random.default_rng(3)
eggs = np.concatenate([rng.normal(60, 4, size=300), np.array([6.2, 94.6])])
z = (eggs - eggs.mean()) / eggs.std()
print(np.abs(np.array([-4, 2, -1])))
print(eggs[np.abs(z) > 3])

Dies gibt Folgendes aus:

[4 2 1]
[ 6.2 94.6]

Bei glockenförmig verteilten Daten liegen 99,7 % der Werte innerhalb von 3 Standardabweichungen, daher kennzeichnet np.abs(z) > 3 die seltenen Werte, die vor dem Training überprüft werden sollten.

Ein Ausreißer erhöht die Standardabweichung, mit der er gemessen wird, aber bei kleinen Stichproben bleibt er verborgen: Verwende dort die IQR-Regel.

Aufgabe

Mittel

Die Waage einer Bäckerei wog 250 Brote und speicherte sie in loaves; 3 weitere wurden von Hand eingegeben. Das Programm liest einen Grenzwert ein.

Berechne für jedes Brot den z-Wert mithilfe von .mean() und .std() des Arrays.
Gib in der Reihenfolge der Positionen jedes Brot aus, dessen z-Wert mehr als den Grenzwert von 0 entfernt ist: seine Position, sein Gewicht (1 Dezimalstelle) und seinen z-Wert (2 Dezimalstellen).
Gib aus, wie viele du aufgelistet hast.

Für einen anderen Tag und den Grenzwert 3:

Loaf 200: 702.5 g, z = -5.38
Loaf 201: 889.3 g, z = 4.91
Loaves to re-weigh: 2

Probier es selbst

import numpy as np

# Ändere die folgenden Zeilen nicht: 250 Brote wurden von der Waage gewogen, danach wurden 3 Gewichte von Hand eingegeben
rng = np.random.default_rng(25)
loaves = np.concatenate([rng.normal(800, 15, size=250), np.array([731.4, 868.9, 912.3])])
cutoff = float(input())

# Schreibe deinen Code unten