Можно ли мне A/B-тестировать? Проверка трафика на реальность
Вопрос, который стоит задать перед первым тестом, а не после десятого. Введи посетителей в месяц, конверсию и прирост, ради которого ты действительно будешь действовать, и получи прямой ответ: вперёд, на пределе или стоп и займись чем-то другим.
Большинство маленьких сайтов не могут A/B-тестировать, и никто им об этом не говорит
Каждое руководство по A/B-тестированию написано компанией с миллионами посетителей. Команда экспериментов Microsoft, Google, Booking.com и Airbnb проводят тысячи тестов в год, и их совет верен для них: тестируй всё, доверяй данным, выкатывай то, что победило. Стартап с 8 000 посетителей в месяц читает тот же совет, строит тот же дашборд, а потом не понимает, почему каждый тест заканчивается на 87% уверенности с приростом, который тает каждую неделю. Он не делает что-то неправильно. Он делает то, что на его размере не работает.
Эта страница делает арифметику, которую руководства пропускают. При 8 000 посетителей в месяц и конверсии 3% подтверждение прироста 10% требует около 106 000 посетителей: тринадцать месяцев всего твоего трафика с замороженной страницей всё это время. За четыре недели наименьший прирост, который ты мог бы подтвердить, - около 40%. Это не проблемы настройки. Ронни Кохави, руководивший экспериментами в Microsoft и Airbnb, ставит практический порог для обнаружения приростов в единицы процентов на уровне нескольких сотен тысяч пользователей; ниже него, по его словам, A/B-тестирование может быть преждевременным, а исследование пользователей - лучшим вложением.
Мы пишем это по собственному опыту. Дашборд Coddy провёл около двадцати именованных экспериментов, десять из них - тесты цен по отдельным странам, каждый на маленьком срезе трафика, и сообщал «Продолжай тест» всякий раз, когда уверенность была ниже 95%. Несколько были помечены успешными и выкачены. Оглядываясь назад с этим калькулятором, часть тех тестов не могла обнаружить приросты, которые им приписали. Честная версия того дашборда - эта страница: на что может ответить этот трафик, сколько это займёт и как часто победитель окажется ложной тревогой?
Что решает, можешь ли ты тестировать
Ограничивает тебя число конверсий в месяц, а не посетителей. У страницы с 8 000 посетителей при 3% есть 240 конверсий в месяц, которые надо разделить между двумя группами. Z-тесту нужны сотни на группу, прежде чем он что-то скажет.
Прирост, ради которого ты будешь действовать, выставляет счёт. Будь честен: если ты выкатишь изменение ради прироста 3%, тебе нужен тест, способный увидеть 3%, а почти ни один маленький сайт этого не может.
Время - это цена, а не лекарство. Тест на квартал замораживает страницу на квартал, тянется через сезоны и кампании и заканчивается в другом бизнесе, чем начался.
От того, как часто твои идеи срабатывают, зависит, что значит победитель. Если по-настоящему двигает метрику одна идея из десяти, то при уверенности 95% и мощности 80% больше трети твоих «значимых» победителей - ложные тревоги. Базовая частота - не формальность; это большая часть ответа.
Ниже черты есть методы получше. Поговори с пятью пользователями, посмотри записи сессий, выкати изменение и сравни «до» и «после» с широкими погрешностями или тестируй на метрике, до которой доходит больше посетителей, например на клике, а не на покупке.
Как пройти проверку на реальность
1
Введи посетителей в месяц, которые увидели бы тест
Не весь сайт. Если тест на странице цен, это посетители страницы цен. Если это шаг оформления заказа, это люди, которые дошли до этого шага.
2
Введи текущую конверсию этого шага
Калькулятор покажет, сколько конверсий в месяц это означает, и именно это настоящее ограничение.
3
Назови прирост, ради которого ты будешь действовать
Относительный прирост, ради которого ты выкатишь изменение. Большинство говорит 10% и имеет это в виду; будь честен, если твой меньше.
4
Прочитай вердикт и лестницу
«Вперёд» значит меньше месяца. «На пределе» значит меньше квартала с замороженной страницей всё это время. «Стоп» значит, что тест не может ответить на вопрос при твоём трафике. Лестница показывает, сколько стоили бы приросты покрупнее.
5
Выбери базовую частоту и прочитай риск ложного срабатывания
Выбери, как часто твои идеи реально срабатывают. Плитка показывает, какая доля значимых результатов при такой частоте была бы ложными тревогами, и это число стоит вспомнить, когда тест в следующий раз позеленеет.
Месяцев до подтверждения прироста 10% при уверенности 95% и мощности 80%
Две группы, каждый посетитель попадает в тест. Найди свою строку и свой столбец.
Посетителей в месяц
база 1%
база 3%
база 5%
база 10%
3 000
больше 100 месяцев
35 месяцев
21 месяц
9.8 месяца
8 000
41 месяц
13 месяцев
7.8 месяца
3.7 месяца
25 000
13 месяцев
4.3 месяца
2.5 месяца
5 недель
100 000
3.3 месяца
5 недель
19 дней
9 дней
500 000
20 дней
6 дней
4 дня
2 дня
Три сайта, три вердикта
SaaS на ранней стадии
8 000 посетителей в месяц, конверсия в регистрацию 3%, хочет увидеть прирост 10%. Вердикт: стоп. Около 13 месяцев и 106 000 посетителей. За четыре недели наименьший подтверждаемый прирост - около 40%.
Двести сорок регистраций в месяц не могут различить разницу в 0.3 пункта. Время команды лучше потратить на интервью с пятью пользователями и на изменения, достаточно крупные, чтобы проявиться без теста: новый заголовок к ним не относится; новая модель ценообразования - возможно.
Контентный сайт
50 000 посетителей в месяц, подписка на рассылку 2%, хочет прирост 10%. Вердикт: на пределе. Около 3.2 месяца. За четыре недели наименьший подтверждаемый прирост - около 19%.
Тестировать можно, но только смелые изменения. Тестировать расположение формы нормально, если оно может сдвинуть подписки на пятую часть; тестировать текст кнопки - нет. Или тестируй клик по форме, который делает куда больше посетителей.
Маркетплейс
400 000 посетителей в месяц, конверсия 4%, хочет прирост 10%. Вердикт: вперёд. Посетители набираются меньше чем за неделю; всё равно гоняй две полные недели.
Это тот размер, для которого написаны руководства по A/B-тестированию. Оставшийся риск - базовая частота: если реально срабатывает одна идея из пяти, примерно один значимый победитель из шести всё ещё ложная тревога, а вкладка симулятора подглядывания показывает, как быстро это ухудшается при ежедневных проверках.
Ошибки тестирования при малом трафике
Запустить тест всё равно и читать его на 85%. Уровень уверенности, который ты задал, - это обещание о том, как часто ты согласен быть обманутым. Читать ниже него задним числом - то же самое, что не задавать его вовсе.
Тестировать крошечные изменения. Цвет кнопки и замена слов дают в лучшем случае приросты в несколько процентов, которые маленькие сайты не могут обнаружить. Если тестировать обязательно, тестируй то, что может сдвинуть число на треть.
Тестировать на дне воронки. Покупки редки, клики часты. У теста на клике, ведущем к покупке, в десять раз больше событий, и он может закончиться.
Давать тесту идти полгода. Сезоны, кампании и изменения продукта просачиваются в него, и две группы в итоге измеряют разные эпохи.
Верить победителю, потому что он был значимым. Когда среди твоих идей мало настоящих победителей, значимый результат чаще оказывается ложной тревогой, чем подсказывает p-значение. Плитка риска ложного срабатывания даёт этому число.
Считать «незначимо» за «идея провалилась». При малом трафике почти ничто не значимо. Идея может быть хорошей; тест просто не смог её увидеть.
Вопросы о проверке на реальность
Сколько трафика нужно для A/B-теста?
Зависит от твоей конверсии и прироста, который ты хочешь увидеть, поэтому эта страница спрашивает и то и другое. Как ориентир: подтверждение относительного прироста 10% при конверсии 3% требует около 100 000 посетителей; подтверждение прироста 30% - около 12 000. Сайты с трафиком меньше 10 000 посетителей в месяц обычно могут обнаружить только очень большие эффекты.
Что делать маленькому сайту вместо A/B-тестирования?
Разговаривать с пользователями лично или по звонку: пять разговоров находят большинство проблем на странице. Смотреть записи сессий. Делать смелые изменения, выкатывать и сравнивать несколько недель до и после, понимая, что сравнение грубое. Тестировать на метриках, до которых доходит больше посетителей. А когда трафик придёт, вернуться сюда и тестировать как следует.
Что такое риск ложного срабатывания и чем он отличается от p-значения?
P-значение говорит, насколько удивительным был бы результат, если бы ничего не изменилось. Риск ложного срабатывания говорит, сколько из тестов, вышедших значимыми, не имели за собой ничего. Он зависит от того, как часто твои идеи реально срабатывают: при базовой частоте 10%, уверенности 95% и мощности 80% около 36% значимых победителей - ложные тревоги. Крупные программы экспериментов сообщают, что метрику двигают лишь от 10 до 33% идей, поэтому базовая частота так важна.
Тест на 3.5 месяца - это правда невозможно?
Не невозможно, и калькулятор до квартала говорит «на пределе», а не «стоп». Но страница, замороженная на квартал, - это страница, которую никто не улучшает, а тест, охватывающий сезон или кампанию, сравнивает два разных периода. Если изменение достаточно крупное, чтобы оправдать квартал ожидания, оно, вероятно, достаточно крупное, чтобы выкатить его и измерить «до» и «после».
Можно ли снизить уверенность до 90%, чтобы тест шёл быстрее?
Можно, если решить это до теста и принять одно ложное срабатывание из десяти сверх эффекта базовой частоты. Это сокращает тест примерно на треть, а не в десять раз, как нужно маленькому сайту. Увеличить прирост, который ты тестируешь, помогает гораздо сильнее.
Почему калькулятор говорит «стоп», когда калькулятор размера выборки даёт число?
Оба используют одну формулу. Страница размера выборки говорит тебе число; эта страница делит его на твой трафик и выносит суждение. 106 000 посетителей - это число; тринадцать месяцев - это вердикт.
