Русский
Сколько посетителей нужно каждому варианту, прежде чем тест сможет что-то сказать, и сколько это дней при твоём трафике. Задай наименьший прирост, который стоит обнаружить, уверенность и мощность, и прочитай число с формулой под ним.
Последнее обновление
Coddy учит на практике: вы пишете настоящий код прямо в браузере — интерактивные уроки, мгновенная проверка и помощь ИИ, когда застряли.
Размер выборки - это обещание, которое ты даёшь себе до начала теста: «Я посмотрю на результат, когда его увидит столько-то людей, и не раньше». Без него каждый A/B-тест сползает в одну и ту же историю. Первая неделя выглядит многообещающе, на второй прирост сжимается, кто-то спрашивает, значимо ли уже, и тест заканчивается в тот день, когда полоска позеленела. Эта страница даёт число, которое нужно записать в план, чтобы дата окончания была фактом, а не настроением.
Расчёт - стандартный размер выборки для двух долей, тот же, что стоит за калькулятором Эвана Миллера и калькулятором Optimizely, и зависит он от четырёх вещей: базовой конверсии, прироста, который ты хочешь суметь обнаружить, уровня уверенности и мощности. Мощность - то, что все пропускают. При мощности 80% настоящий прирост названного размера ловится восемь раз из десяти; у теста с половиной выборки мощность гораздо меньше половины, и поэтому тест с недостаточной мощностью - не «ответ погрубее», а обычно вообще не ответ.
Кривая под результатом - та часть, которую стоит запомнить. Нужное число посетителей растёт как квадрат единицы, делённой на прирост: уменьши вдвое прирост, который хочешь увидеть, и понадобится примерно вчетверо больше трафика. Сайту, который подтверждает прирост 30% за две недели, нужно примерно в девять раз больше времени, чтобы подтвердить 10%. Если число дней выходит в месяцах, калькулятор говорит тебе тестировать что-то покрупнее или подняться по воронке к метрике, до которой доходит больше людей, прежде чем говорить «жди».
Бери конверсию страницы или шага, который тест изменит, измеренную на тех же посетителях, которых увидит тест. Не бери средний показатель по сайту, когда тестируешь один шаг воронки.
Спроси себя, какой прирост заставит тебя выкатить изменение. Это и есть твой минимальный обнаруживаемый эффект. 10% относительных - частый выбор для зрелой страницы; редизайн может оправдать 20% и больше.
95% уверенности и 80% мощности - общепринятые значения. Повышай уверенность, когда ложного победителя дорого откатывать; повышай мощность, когда упущенного победителя дорого оставлять на столе.
Все варианты вместе, считая только тех, кто дойдёт до теста. Результат превращается в дни и целые недели.
Калькулятор даёт размер выборки на вариант. Впиши его в план теста вместе с датой, которая из него следует, и не читай результаты раньше. Вкладка симулятора подглядывания показывает почему.
Посетителей на вариант при уверенности 95% и мощности 80%, двусторонний тест. Умножь на два для теста с двумя группами.
| Базовая конверсия | прирост +5% | прирост +10% | прирост +20% | прирост +50% |
|---|---|---|---|---|
| 1% | около 637 000 | около 163 000 | около 42 700 | около 7 800 |
| 3% | около 208 000 | около 53 200 | около 13 900 | около 2 500 |
| 5% | около 122 000 | около 31 200 | около 8 200 | около 1 500 |
| 10% | около 57 800 | около 14 800 | около 3 800 | около 690 |
| 20% | около 25 600 | около 6 500 | около 1 700 | около 290 |
База 5%, минимальный обнаруживаемый эффект 10% (цель 5.5%), уверенность 95%, мощность 80%, двусторонний. Результат: около 31 000 посетителей на вариант, всего 62 000.
При 1 000 посетителей в день это 62 дня, то есть девять целых недель. Многие команды сочтут это слишком долгим и либо протестируют более смелое изменение, либо примут, что этой странице нужен прирост от 20%, чтобы быть тестируемой за две недели.
База 3%, минимальный обнаруживаемый эффект 20% (цель 3.6%). Результат: около 13 900 посетителей на вариант.
Низкой базовой конверсии нужно больше посетителей для того же относительного прироста, потому что конверсий, которые можно посчитать, меньше. Относительный прирост 20% здесь - всего 0.6 процентного пункта, и тест должен отличить 3.0% от 3.6%.
База 5%, прирост 10%, четыре варианта, включая контроль. Альфа на сравнение становится 0.05 / 3, выборка на вариант растёт примерно на треть; общая - вчетверо больше числа на вариант.
Добавлять варианты - самый быстрый способ превратить двухнедельный тест в двухмесячный. Тестируй одну сильную идею против контроля; следующую запускай после.
