Русский
Две тысячи тестов, где A и B - одна и та же страница, на твоём трафике. Посмотри, сколько из них ежедневный проверяльщик назвал бы победой и сколько те же тесты обманывают того, кто ждёт даты окончания.
Последнее обновление
Coddy учит на практике: вы пишете настоящий код прямо в браузере — интерактивные уроки, мгновенная проверка и помощь ИИ, когда застряли.
Вот привычка. Ты запускаешь тест и каждое утро открываешь дашборд. Полоска ползёт вверх, проседает, снова ползёт, и в один вторник пересекает 95%. Ты объявляешь результат, выкатываешь победителя и идёшь дальше. Проблема в том, что p-значение блуждает. В тесте, где два варианта одинаковы, p-значение всё равно в какие-то дни случайно пересекает 0.05; просто позже оно пересекает его обратно. Остановиться на первом пересечении - значит поймать его на проходе, и уровень уверенности, который, как ты думал, у тебя есть, исчез.
Размер эффекта людей удивляет. При уверенности 95% тест, прочитанный один раз в конце, обманывает тебя примерно раз из двадцати, и это та сделка, на которую ты подписался. Читай тот же тест каждый день четыре недели и останавливайся в первый зелёный день, и симулятор обычно показывает ложного победителя в четверти тестов и больше, где ничего не менялось. Оригинальная заметка Эвана Миллера оценивала это выше 20% для ежедневного проверяльщика; Optimizely в 2015 году перестроила свой статистический движок, потому что доля ложных срабатываний у её клиентов перевалила за эту отметку. Еженедельная проверка вместо ежедневной примерно вдвое уменьшает ущерб, но не убирает его.
Симуляция здесь честна в том, что она такое: каждый тест разыгрывает конверсии по истинной конверсии для обеих групп, запускает обычный z-тест для двух долей на каждом просмотре на всём собранном к этому моменту и записывает, где остановился бы подглядывающий. Каждая траектория на графике - один тест; каждая точка - утро, когда кто-то объявил бы результат. Поставь настоящий прирост на +10%, чтобы увидеть вторую половину истории, где подглядывающий ловит настоящий эффект рано, но с раздутым приростом, и «победил» бы с тем же азартом, будь эффект нулевым.
Симуляция разыгрывает конверсии по твоей настоящей конверсии, так что блуждание p-значения соответствует шуму, который ты видел бы на самом деле.
Каждый день, каждые три дня или раз в неделю. Разрыв между долей подглядывающего и честной долей - цена этой привычки.
Так каждый тест становится A/A-тестом: любой победитель по построению ложная тревога. Потом переключи на +10% или +30%, чтобы увидеть подглядывающего на настоящем эффекте.
Доля подглядывающего - как часто ежедневный проверяльщик объявлял победителя. Доля по дате окончания должна быть близка к выбранной тобой альфе; если так, честный тест делает то, что обещал.
Каждый прогон разыгрывает новые случайные тесты. Доли немного двигаются; разрыв - нет.
При уверенности 95% одно честное чтение в конце обманывает примерно в 5% случаев. Ориентировочные цифры из симуляции и литературы для подглядывающего, который останавливается на первом значимом просмотре.
| Как часто ты смотришь | Просмотров за 4 недели | Ложных победителей |
|---|---|---|
| Один раз, в конце | 1 | около 5% |
| Раз в неделю | 4 | около 10-13% |
| Каждые 3 дня | 9-10 | около 15-20% |
| Каждый день | 28 | около 25-30% |
| Каждый день 12 недель | 84 | больше 35% |
Конверсия 5%, 1 000 посетителей в день, 28 дней, проверка каждое утро. В нашем прогоне: подглядывающий объявил победителя примерно в 28% из 2 000 A/A-тестов; при одном чтении в конце - 4.5%.
В шесть раз больше ложных тревог для теста, который казался аккуратным, потому что кто-то следил за ним каждый день. Половина этих «победителей» короновала B, половина - A, потому что находить было нечего.
Тот же трафик, та же длина, проверка раз в неделю. В нашем прогоне: около 12% у подглядывающего против 5% в конце.
Смотреть четыре раза вместо двадцати восьми сильно помогает и всё равно больше чем вдвое превышает обещанную долю. Нет такого числа просмотров, кроме одного, которое держит обещание.
Поставь настоящий прирост B на +10% при том же трафике. У честного теста на 28 дней ограниченная мощность для такого маленького прироста при этом трафике; подглядывающий чаще останавливается рано, в удачные дни.
Это соблазнительный случай: подглядывающий будто бы находит быстрее. Но дни, в которые он останавливается, - это дни, когда прирост выглядел больше всего, так что выкаченная оценка завышена, и та же привычка нашла бы «победителя» при приросте, равном нулю.
