Deutsch
Zweitausend Tests, in denen A und B dieselbe Seite sind, auf deinem Traffic. Sieh, wie viele davon ein täglicher Gucker zum Gewinner erklärt hätte, und wie viele dieselben Tests jemandem vormachen, der auf das Enddatum wartet.
Zuletzt aktualisiert
Coddy bringt es dir bei, indem du echten Code im Browser schreibst: interaktive Lektionen, sofortiges Feedback und KI-Hilfe, wenn du feststeckst.
So sieht die Angewohnheit aus. Du startest einen Test und öffnest jeden Morgen das Dashboard. Der Balken kriecht hoch, sackt ab, kriecht wieder hoch, und an einem Dienstag überschreitet er 95 %. Du rufst es aus, lieferst den Gewinner aus und machst weiter. Das Problem ist, dass ein p-Wert wandert. Bei einem Test, in dem die zwei Varianten identisch sind, unterschreitet der p-Wert an manchen Tagen trotzdem zufällig 0,05; er kommt nur später wieder zurück. Beim ersten Unterschreiten zu stoppen heißt, ihn auf dem Weg hindurch zu erwischen, und das Konfidenzniveau, das du zu haben glaubtest, ist weg.
Die Größe des Effekts überrascht Leute. Bei 95 % Konfidenz täuscht dich ein Test, der einmal am Ende gelesen wird, etwa einmal in zwanzig Fällen, und das ist der Deal, den du unterschrieben hast. Lies denselben Test vier Wochen lang jeden Tag und stoppe am ersten grünen Tag, und der Simulator zeigt typischerweise einen Scheingewinner in einem Viertel oder mehr der Tests, in denen sich nichts geändert hat. Evan Millers ursprünglicher Artikel bezifferte es für einen täglichen Gucker auf über 20 %; Optimizely baute 2015 seine Statistik-Engine neu, weil die Falsch-Positiv-Rate seiner Kunden darüber geklettert war. Wöchentlich statt täglich nachzusehen halbiert den Schaden ungefähr, beseitigt ihn aber nicht.
Die Simulation hier ist ehrlich darüber, was sie ist: Jeder Test zieht Conversions mit der wahren Rate für beide Arme, rechnet bei jedem Blick den gewöhnlichen z-Test für zwei Anteile auf allem, was bis dahin gesammelt wurde, und hält fest, wo ein Gucker stoppen würde. Jeder Pfad im Diagramm ist ein Test; jeder Punkt ist ein Morgen, an dem jemand ein Ergebnis verkündet hätte. Setze den echten Lift auf +10 %, um die andere Hälfte der Geschichte zu sehen: Der Gucker erwischt einen echten Effekt früh, aber mit übertriebenem Lift, und hätte genauso eifrig "gewonnen", wenn der Effekt null gewesen wäre.
Die Simulation zieht Conversions mit deiner echten Rate, damit das Wandern des p-Werts dem Rauschen entspricht, das du tatsächlich sehen würdest.
Täglich, alle drei Tage oder wöchentlich. Der Abstand zwischen der Rate des Guckers und der ehrlichen Rate ist der Preis dieser Angewohnheit.
Das macht jeden Test zu einem A/A-Test: Jeder Gewinner ist per Konstruktion ein Fehlalarm. Wechsle danach auf +10 % oder +30 %, um den Gucker bei einem echten Effekt zu sehen.
Die Rate des Guckers ist, wie oft der tägliche Prüfer einen Gewinner ausgerufen hat. Die Enddatum-Rate sollte nahe dem Alpha liegen, das du gewählt hast; wenn ja, tut der ehrliche Test, was er versprochen hat.
Jeder Durchlauf zieht neue zufällige Tests. Die Raten bewegen sich ein wenig; der Abstand nicht.
Bei 95 % Konfidenz wird ein ehrliches Lesen am Ende in etwa 5 % der Fälle getäuscht. Grobe Werte aus der Simulation und der Literatur für einen Gucker, der beim ersten signifikanten Blick stoppt.
| Wie oft du hinschaust | Blicke in 4 Wochen | Scheingewinner |
|---|---|---|
| Einmal, am Ende | 1 | etwa 5 % |
| Wöchentlich | 4 | etwa 10 bis 13 % |
| Alle 3 Tage | 9 bis 10 | etwa 15 bis 20 % |
| Täglich | 28 | etwa 25 bis 30 % |
| Täglich über 12 Wochen | 84 | über 35 % |
5 % Conversion, 1.000 Besucher am Tag, 28 Tage, jeden Morgen geprüft. In unserem Durchlauf: Der Gucker rief in etwa 28 % von 2.000 A/A-Tests einen Gewinner aus; einmal am Ende gelesen: 4,5 %.
Sechsmal so viele Fehlalarme, bei einem Test, der sich sorgfältig anfühlte, weil ihn jemand jeden Tag beobachtet hat. Die Hälfte dieser "Gewinner" krönte B und die andere Hälfte A, weil es nichts zu finden gab.
Gleicher Traffic, gleiche Länge, einmal pro Woche geprüft. In unserem Durchlauf: etwa 12 % für den Gucker gegenüber 5 % am Ende.
Viermal statt achtundzwanzigmal hinzuschauen hilft viel und liegt trotzdem noch über dem Doppelten der versprochenen Rate. Es gibt keine Anzahl von Blicken außer einem, die das Versprechen hält.
Setze den echten Lift von B auf +10 % bei gleichem Traffic. Der ehrliche Test hat nach 28 Tagen bei diesem Traffic nur begrenzte Power für einen so kleinen Lift; der Gucker stoppt öfter früh, an den Glückstagen.
Das ist der verführerische Fall: Der Gucker scheint Dinge schneller zu finden. Aber die Tage, an denen er stoppt, sind die Tage, an denen der Lift am größten aussah, also ist die ausgelieferte Schätzung aufgebläht, und dieselbe Angewohnheit hätte mit Lift null auch einen "Gewinner" gefunden.
