Der Mathekurs von Coddy bringt dir die Methode selbst bei: Du arbeitest jeden Schritt auf einer interaktiven Tafel und erfährst genau, wo ein Zug schiefgegangen ist.
Ein t-Test fragt, ob eine Differenz größer ist als das Rauschen
Jeder t-Test hat dieselbe Form. Es gibt eine Differenz, die dich interessiert: ein Stichprobenmittel gegen einen behaupteten Wert, zwei Gruppenmittel gegeneinander, oder die durchschnittliche Veränderung über Paare. Es gibt einen Standardfehler: wie stark diese Differenz von einer Stichprobe zur nächsten schwanken würde, geschätzt aus der Streuung der Daten. Die t-Statistik ist das Erste geteilt durch das Zweite, t = 3 heißt also, die Differenz ist drei Standardfehler breit, und die t-Kurve für die richtigen Freiheitsgrade macht daraus einen p-Wert.
Die drei Tests unterscheiden sich nur darin, was die Differenz und der Standardfehler sind. Eine Stichprobe: der Mittelwert minus der hypothetische Wert, durch s geteilt durch Wurzel n. Gepaart: dasselbe, angewendet auf die Liste der Differenzen, eine pro Paar, und deshalb ist Paarung so mächtig, wenn jedes Paar viel Rauschen teilt. Zwei Stichproben: der Abstand zwischen den Mittelwerten durch einen Standardfehler, der aus beiden Streuungen gebaut ist. Für zwei Stichproben nimmt die Seite standardmäßig die Welch-Variante, die nicht annimmt, dass beide Gruppen dieselbe Varianz haben, und die jedes moderne Statistikpaket als Standard verwendet; die gepoolte Student-Variante ist einen Schalter entfernt, falls ein Kurs sie verlangt.
Die Seite behält, was sich exakt behalten lässt. Ein Mittelwert von 26 wird als 26 gedruckt und eine Varianz von 32/3 als 32/3, nicht 10,67; der Standardfehler wird als Wurzel gezeigt, da er eine Quadratwurzel ist; die t-Statistik ist die erste Dezimalzahl, weil das Teilen durch eine Wurzel nichts Rationales übrig lässt. Darunter ist jeder Schritt aufgelistet, damit die Tabelle mit den Stichprobenkennzahlen gegen deinen eigenen Rechenweg geprüft werden kann.
Was du über t-Tests wissen solltest
Freiheitsgrade sind n minus 1 für eine Stichprobe und für gepaarte Daten, und n1 plus n2 minus 2 für einen gepoolten Zweistichprobentest. Welchs df ist ein Bruch, berechnet aus den zwei Varianzen, und oft keine ganze Zahl.
Paarung entfernt geteiltes Rauschen. Vorher-nachher-Messungen an denselben Personen sollten ein gepaarter Test sein, nie ein Zweistichprobentest; der Zweistichprobentest wirft die Paarung weg und findet meist nichts.
Welch ist der sichere Standard. Wenn die zwei Varianzen wirklich gleich sind, stimmen beide Varianten überein; wenn nicht, hält nur Welch die versprochene Fehlerrate.
Das Konfidenzintervall sagt, was der p-Wert nicht kann: wie groß die Differenz wahrscheinlich ist. Ein signifikantes t mit einem Intervall von 0,1 bis 0,3 ist ein kleiner Effekt; dasselbe t mit einem Intervall von 2 bis 6 ist ein großer.
Cohens d ist die Differenz in Einheiten der Standardabweichung, sodass sie über Studien mit verschiedenen Skalen vergleichbar ist. Etwa 0,2 ist klein, 0,5 mittel, 0,8 groß.
So rechnest du einen t-Test
1
Art des Tests wählen
Eine Stichprobe gegen einen behaupteten Mittelwert; zwei unabhängige Stichproben gegeneinander; gepaart, wenn jeder Wert in einer Liste einen Partner in der anderen hat.
2
Daten einfügen
Kommas, Leerzeichen oder Zeilenumbrüche funktionieren alle. Für einen gepaarten Test müssen beide Listen gleich lang und in derselben Reihenfolge sein.
3
Hypothese und Niveau setzen
Zweiseitig für "verschieden", einseitig für eine vorab festgelegte Richtung. Ein Alpha von 0,05 ist die Konvention.
4
Zuerst die Kennzahlentabelle lesen
Prüfe, ob Mittelwerte und Varianzen dem entsprechen, was du erwartet hast. Die meisten falschen t-Tests sind falsch, weil ein Wert in die falsche Liste getippt wurde.
5
Dann t, p und das Intervall lesen
Das Urteil sagt, ob die Differenz die Latte gerissen hat; das Intervall sagt, wie groß sie wahrscheinlich ist. Berichte beides.
Die drei t-Tests
Was jeder durch was teilt.
Test
Differenz
Standardfehler
Freiheitsgrade
Eine Stichprobe
x̄ − μ₀
s / √n
n − 1
Gepaart
Mittelwert der Differenzen d̄
s_d / √n
n − 1
Zwei Stichproben, gepoolt
x̄₁ − x̄₂
√(s²_p (1/n₁ + 1/n₂))
n₁ + n₂ − 2
Zwei Stichproben, Welch
x̄₁ − x̄₂
√(s₁²/n₁ + s₂²/n₂)
aus den zwei Varianzen, oft nicht ganzzahlig
Durchgerechnete Beispiele
Eine Stichprobe gegen einen behaupteten Mittelwert von 24
Die zehn Werte haben Mittelwert 26 und Stichprobenvarianz 32/3. Der Standardfehler ist die Wurzel aus 32/30, etwa 1,033, also ist t etwa 1,94 mit 9 Freiheitsgraden und einem zweiseitigen p von etwa 0,085. Nicht signifikant bei 5 %: Ein Mittelwert von 26 liegt innerhalb dessen, was eine Stichprobe von zehn aus einer Population mit Mittelwert 24 etwa einmal in zwölf Fällen erzeugen würde.
Die erste Gruppe liegt im Schnitt bei etwa 84,7, die zweite bei etwa 78,9. Welchs Test gibt t von etwa 2,46 bei etwa 9 Freiheitsgraden und p um 0,036; die gepoolte Variante gibt dasselbe t bei 12 Freiheitsgraden und p um 0,030. So oder so signifikant, und das Intervall für die Differenz reicht von grob 0,5 bis 11,2.
Jedes Paar ist um 2 bis 4 Punkte gestiegen. Die Differenzen liegen im Schnitt bei 19/6, etwa 3,17, mit kleiner Streuung, also ist das gepaarte t groß, etwa 10,3 bei 5 Freiheitsgraden, und p ist etwa 0,0001. Ein Zweistichprobentest auf denselben Zahlen hätte weit weniger gefunden, weil die Streuung zwischen den Personen die Veränderung innerhalb jeder Person überdeckt.
Fehler bei t-Tests
Einen Zweistichprobentest auf gepaarte Daten rechnen. Die Paarung ist die Information; sie wegzuwerfen ist der Weg, auf dem eine echte Veränderung im Rauschen verschwindet.
Gleiche Varianzen annehmen, ohne zu prüfen. Der gepoolte Test ist nur richtig, wenn die Streuungen zusammenpassen; Welch kostet fast nichts, wenn sie es tun, und rettet den Test, wenn nicht.
Die Populationsformel für die Varianz verwenden. Ein t-Test verwendet die Stichprobenvarianz, geteilt durch n minus 1, und die Seite tut das.
Signifikanz als Größe lesen. Eine winzige Differenz ist mit genug Daten signifikant; das Intervall und Cohens d sagen, ob sie eine Rolle spielt.
Die Seite wählen, nachdem man das Vorzeichen gesehen hat. Wenn die Frage "verschieden" lautete, ist der Test zweiseitig, auch wenn das Ergebnis in deine Richtung ging.
Eine stark schiefe Metrik mit einer Handvoll Werte testen. Bei n unter etwa 15 und einem langen Rand ist die t-Kurve nur ein grober Anhaltspunkt; ein Rangtest oder ein Bootstrap ist die ehrliche Alternative.
FAQ zum t-Test
Wann sollte ich einen t-Test statt eines z-Tests verwenden?
Immer, wenn die Standardabweichung aus derselben Stichprobe geschätzt wird, was fast immer der Fall ist. Die schwereren Ränder der t-Kurve berücksichtigen diese zusätzliche Unsicherheit. Ein z-Test ist für den Lehrbuchfall, in dem die Populations-Standardabweichung vorab bekannt ist, oder für sehr große Stichproben, bei denen die zwei Kurven zusammenfallen.
Was ist der Unterschied zwischen einem gepaarten und einem ungepaarten t-Test?
Ein gepaarter Test verwendet die Differenzen innerhalb zusammengehöriger Paare, etwa dieselbe Person zweimal gemessen, sodass sich das Rauschen, das jedes Paar teilt, aufhebt. Ein ungepaarter (Zweistichproben-)Test vergleicht zwei getrennte Gruppen. Nimm gepaart, wann immer jeder Wert in einer Liste einen natürlichen Partner in der anderen hat; sonst zwei Stichproben.
Soll ich Welchs t-Test oder Students verwenden?
Welch, es sei denn, ein Kurs oder eine Zeitschrift schreibt etwas anderes vor. Students gepoolter Test nimmt an, dass beide Gruppen dieselbe Varianz haben, und liefert falsche Fehlerraten, wenn das nicht stimmt; Welch lässt die Annahme fallen und stimmt mit Student überein, wenn sie gilt. Diese Seite nimmt standardmäßig Welch und bietet gepoolt als Schalter.
Wie lese ich die Freiheitsgrade bei Welchs Test?
Welchs Freiheitsgrade kommen aus einer Formel über die zwei Stichprobenvarianzen und -umfänge und sind meist keine ganze Zahl, etwa 9,87. Das ist normal; die t-Kurve ist für jedes positive df definiert. Wenn die zwei Varianzen und Umfänge gleich sind, reduziert es sich auf n1 plus n2 minus 2.
Was bedeutet das Konfidenzintervall für die Differenz?
Der Bereich von Werten für die wahre Differenz, mit dem die Daten auf dem gewählten Niveau vereinbar sind. Schließt er null aus, ist der Test beim passenden Alpha signifikant; seine Breite sagt, wie genau die Differenz eingegrenzt ist. Berichte es neben dem p-Wert.
Was ist Cohens d?
Die Differenz der Mittelwerte geteilt durch die Standardabweichung, also eine Effektstärke in Einheiten der Standardabweichung, die über Studien mit verschiedenen Skalen vergleichbar ist. Konventionell ist 0,2 klein, 0,5 mittel und 0,8 groß, wobei das, was als bedeutsam gilt, vom Fachgebiet abhängt.
Kann ich das für einen A/B-Test verwenden?
Für eine Conversion-Rate nein: Das ist ein Vergleich von Anteilen, und der A/B-Test-Rechner auf den Tool-Seiten macht das mit dem z-Test für zwei Anteile. Für eine stetige Metrik wie Umsatz pro Nutzer oder Verweildauer ja, wenn du die Werte pro Nutzer zum Einfügen hast; der Zweistichproben-Welch-Test ist dann die richtige Wahl.
