Русский
Введи посетителей и конверсии каждого варианта. Получишь вердикт одной фразой, p-значение с решением, интервал, байесовский шанс, что B лучше, проверку, что трафик разбит без перекоса, и наименьший прирост, который этот тест вообще мог заметить.
Последнее обновление
Coddy учит на практике: вы пишете настоящий код прямо в браузере — интерактивные уроки, мгновенная проверка и помощь ИИ, когда застряли.
Каждый калькулятор A/B-теста печатает p-значение. Большинство на этом останавливается, и так основатели стартапов оказываются перед цифрой 87% уверенности и гадают, что она значит. Этот отвечает на вопросы, от которых действительно зависит следующий шаг. Разница больше, чем даёт случай? Каким может быть настоящий прирост в худшем и в лучшем случае? Если тест вышел «незначимым», мог ли он вообще что-то найти при таком размере выборки? И здоров ли сам сплит трафика, или ты сравниваешь две группы, которые никогда не были равны?
Он запускает стандартный z-тест для двух долей, тот же, что в классическом движке Optimizely, в частотном режиме VWO и в любом учебнике статистики, и показывает каждую строку арифметики: объединённую долю, стандартную ошибку, z-оценку и площадь хвоста. Рядом стоит байесовский ответ, вероятность того, что истинная конверсия B выше, чем у A, потому что «есть 91% шанс, что B лучше» - это та фраза, которую большинство ждало от p-значения, а это другое число.
Мы сделали его, посмотрев на собственный дашборд. Coddy провёл около двадцати именованных экспериментов, десять из них - тесты цен по отдельным странам на маленьких срезах трафика, и наш внутренний инструмент показывал полоску уверенности со словами «Продолжай тест» ниже 95%. Это досрочная остановка с дружелюбным лицом. Три соседние вкладки, размер выборки, проверка реальности и симулятор подглядывания, существуют потому, что калькулятор, который сообщает только значимость, помогает тебе обманывать себя быстрее.
Посетители - это люди, попавшие в этот вариант, а не просмотры страниц. Конверсии - те, кто сделал измеряемое действие: зарегистрировался, заплатил, кликнул. Обе группы должны считаться одинаково.
95% двусторонний - вариант по умолчанию и честный выбор, когда B может быть и лучше, и хуже. Односторонний только для случая, когда худший B ты проигнорируешь ровно так же, как отсутствие изменений, а это бывает реже, чем кажется.
Баннер говорит, что подтверждают числа. Плитка относительного прироста показывает интервал: настоящий эффект, скорее всего, лежит где-то внутри него, и планировать нужно по нижней границе, а не по точечной оценке.
Если сплит помечен, почини тест прежде, чем читать что-либо ещё. Если наименьший обнаруживаемый прирост больше наблюдаемого, тесту не хватило мощности: открой вкладку размера выборки и посмотри, сколько посетителей понадобилось бы.
«Скопировать результат» даёт сводку для сообщения или документа. «Скопировать ссылку» кладёт четыре числа в URL, и кто бы её ни открыл, увидит тот же расчёт.
Что означает каждая плитка, в одну строку.
| Плитка | Что это | Как читать |
|---|---|---|
| Относительный прирост | (конверсия B минус конверсия A) делить на конверсию A | Главное число. Интервал рядом - диапазон, в котором, скорее всего, лежит настоящий прирост. |
| p-значение | Шанс такого разрыва, будь A и B одинаковыми | Ниже 0.05 при уверенности 95% значит «значимо». Это не шанс, что результат неверен. |
| Уверенность | 1 минус p, в процентах | Число, которое печатает большинство инструментов. 87% - это не «почти 95%»; это монета, упавшая не той стороной. |
| Шанс, что B лучше | Байесовская вероятность, что истинная конверсия B выше, чем у A | Фраза, которую все хотят. 91% значит, что B, вероятно, лучше, а не что B лучше на 91%. |
| Наименьший прирост, который тест мог увидеть | Относительный прирост, обнаруживаемый при мощности 80% с такими размерами групп | Если наблюдаемый прирост ниже него, «незначимо» означает «не смог определить». |
| Разбиение трафика | Наблюдаемая доля посетителей в каждой группе против плана | Помечается, когда сплит отклоняется сильнее, чем допускает случай. Почини тест прежде, чем читать результаты. |
A: 10 000 посетителей, 500 конверсий (5.00%). B: 10 000 посетителей, 560 конверсий (5.60%). Относительный прирост +12%, p = 0.058.
Незначимо при 95%, а интервал тянется примерно от минус 0.4% до плюс 24%. Честное чтение: «вероятно, небольшой плюс, может быть и ничего». Наименьший прирост, который этот тест мог обнаружить, около 17%, так что эффект в 12% всегда был обречён попасть в серую зону. Нужно примерно вдвое больше трафика, а не ещё неделя надежды.
A: 5 000 посетителей, 100 конверсий. B: 4 300 посетителей, 120 конверсий. Запланированный сплит 50/50.
B выглядит явным победителем с +40%. Калькулятор отказывается это подтверждать: сплит 5 000 к 4 300 при плане 50/50 случайно возникает реже, чем один раз на миллион. Что-то убирает пользователей из B до того, как их посчитали: часто это редирект, который ломается в одном браузере, или фильтр ботов, по-разному обращающийся с вариантами. Что бы это ни было, группы несопоставимы, и прирост ничего не значит.
A: 400 посетителей, 12 конверсий (3.0%). B: 400 посетителей, 19 конверсий (4.75%). Относительный прирост +58%, p = 0.20.
Прирост в 58% звучит громадно, а p-значение около 0.19. При 12 и 19 конверсиях калькулятор помечает нехватку данных: на таком объёме числа скачут так сильно, что одна лишняя регистрация сдвигает конверсию на четверть пункта. При таком трафике наименьший прирост, который тест мог бы подтвердить за месяц, больше 100%. Это не повод гонять его дольше; это повод открыть вкладку проверки реальности.
