Deutsch
Wie viele Besucher jede Variante braucht, bevor der Test überhaupt etwas sagen kann, und wie viele Tage das bei deinem Traffic sind. Setze den kleinsten Lift, der sich zu erkennen lohnt, die Konfidenz und die Power, und lies die Anzahl mit der Formel darunter.
Zuletzt aktualisiert
Coddy bringt es dir bei, indem du echten Code im Browser schreibst: interaktive Lektionen, sofortiges Feedback und KI-Hilfe, wenn du feststeckst.
Eine Stichprobengröße ist ein Versprechen, das du dir selbst gibst, bevor der Test startet: "Ich schaue mir das Ergebnis an, wenn so viele Leute es gesehen haben, und nicht vorher." Ohne sie driftet jeder A/B-Test in dieselbe Geschichte. Die erste Woche sieht vielversprechend aus, in der zweiten schrumpft der Lift, jemand fragt, ob es schon signifikant ist, und der Test endet an dem Tag, an dem der Balken grün wird. Diese Seite gibt dir die Zahl für den Plan, damit das Enddatum eine Tatsache ist und keine Stimmung.
Die Rechnung ist die Standard-Stichprobengröße für zwei Anteile, dieselbe hinter Evan Millers Rechner und dem von Optimizely, und sie hängt von vier Dingen ab: der Basisrate, dem Lift, den du erkennen können willst, dem Konfidenzniveau und der Power. Power ist das, was alle überspringen. Bei 80 % Power wird ein echter Lift in der genannten Größe acht von zehn Mal erwischt; ein Test mit der halben Stichprobe hat weit weniger als die halbe Power, und deshalb ist ein unterpowerter Test nicht "eine gröbere Antwort", sondern meist gar keine.
Die Kurve unter dem Ergebnis ist der Teil, den du dir merken solltest. Die benötigten Besucher wachsen mit dem Quadrat von eins durch den Lift: Halbiere den Lift, den du sehen willst, und du brauchst etwa viermal so viel Traffic. Eine Website, die einen 30-%-Lift in zwei Wochen bestätigen kann, braucht etwa neunmal so lange für einen 10-%-Lift. Wenn die Tage in Monaten herauskommen, sagt dir der Rechner, dass du etwas Größeres testen oder im Funnel nach oben zu einer Metrik gehen solltest, die mehr Leute erreichen, bevor er dir sagt, dass du warten sollst.
Nimm die Rate der Seite oder des Schritts, den der Test verändert, gemessen an derselben Art von Besuchern, die der Test sehen wird. Nimm keinen Website-Durchschnitt, wenn du einen einzelnen Funnel-Schritt testest.
Frag dich, welcher Lift dich die Änderung ausliefern ließe. Das ist dein kleinster erkennbarer Effekt. 10 % relativ ist eine übliche Wahl für eine ausgereifte Seite; ein Redesign rechtfertigt vielleicht 20 % oder mehr.
95 % Konfidenz und 80 % Power sind die Konventionen. Erhöhe die Konfidenz, wenn ein Scheingewinner teuer zurückzurollen ist; erhöhe die Power, wenn ein verpasster Gewinner teuer ist, weil du ihn liegen lässt.
Alle Varianten zusammen, und nur die Besucher, die den Test erreichen werden. Das Ergebnis wird in Tage und ganze Wochen umgerechnet.
Der Rechner gibt dir die Stichprobengröße pro Variante. Schreib sie mit dem Datum, das daraus folgt, in den Testplan, und lies keine Ergebnisse davor. Der Tab Peeking-Simulator zeigt, warum.
Besucher pro Variante bei 95 % Konfidenz und 80 % Power, zweiseitig. Für einen Test mit zwei Armen mal zwei nehmen.
| Basisrate | +5 % Lift | +10 % Lift | +20 % Lift | +50 % Lift |
|---|---|---|---|---|
| 1 % | etwa 637.000 | etwa 163.000 | etwa 42.700 | etwa 7.800 |
| 3 % | etwa 208.000 | etwa 53.200 | etwa 13.900 | etwa 2.500 |
| 5 % | etwa 122.000 | etwa 31.200 | etwa 8.200 | etwa 1.500 |
| 10 % | etwa 57.800 | etwa 14.800 | etwa 3.800 | etwa 690 |
| 20 % | etwa 25.600 | etwa 6.500 | etwa 1.700 | etwa 290 |
Basisrate 5 %, kleinster erkennbarer Effekt 10 % (Ziel 5,5 %), 95 % Konfidenz, 80 % Power, zweiseitig. Ergebnis: etwa 31.000 Besucher pro Variante, 62.000 insgesamt.
Bei 1.000 Besuchern am Tag sind das 62 Tage, also neun ganze Wochen. Viele Teams würden das zu lang finden und entweder eine mutigere Änderung testen oder akzeptieren, dass diese Seite einen Lift von 20 % oder mehr braucht, um in zwei Wochen testbar zu sein.
Basisrate 3 %, kleinster erkennbarer Effekt 20 % (Ziel 3,6 %). Ergebnis: etwa 13.900 Besucher pro Variante.
Niedrigere Basisraten brauchen für denselben relativen Lift mehr Besucher, weil es weniger Conversions zu zählen gibt. Ein relativer Lift von 20 % sind hier nur 0,6 Prozentpunkte, und der Test muss 3,0 % von 3,6 % unterscheiden.
Basisrate 5 %, Lift 10 %, vier Varianten inklusive Kontrolle. Das Alpha pro Vergleich wird 0,05 / 3, und die Stichprobe pro Variante wächst um etwa ein Drittel; die Gesamtzahl ist das Vierfache des Werts pro Variante.
Varianten hinzuzufügen ist der schnellste Weg, aus einem Zwei-Wochen-Test einen Zwei-Monate-Test zu machen. Teste eine starke Idee gegen die Kontrolle; die nächste Idee kommt danach dran.
