Зачем проверять значимость
Вариант B набрал 4.86% конверсии, вариант A — 4.0%. Кажется, B лучше на 21%. Но если бы вы показали обоим вариантам одну и ту же страницу, конверсии всё равно немного отличались бы — из-за случайности. Проверка значимости отвечает на вопрос: насколько вероятно получить такую разницу случайно, если на самом деле варианты одинаковы. Если вероятность мала, разницу считают реальной.
Как считает калькулятор
- z-тест двух долей. Объединённая конверсия p = (конверсии A + B) / (посетители A + B); стандартная ошибка = √(p(1−p)(1/nA + 1/nB)); z = (CR B − CR A) / ошибка.
- p-value — вероятность получить такую или большую разницу случайно (двусторонний тест). Если p-value меньше α (например, 0.05), разница значима.
- Доверительный интервал разницы — диапазон, в котором с выбранной уверенностью лежит реальная разница конверсий. Если он не включает ноль — результат значим.
- Вероятность, что B лучше — в нормальном приближении; удобна для объяснения результата неспециалистам.
Пример
A: 4 800 посетителей и 192 конверсии (4.0%). B: 4 750 посетителей и 231 конверсия (4.86%). Прирост +21.6%, z = 2.05, p-value ≈ 0.040. На уровне 95% разница значима, доверительный интервал разницы — от +0.04 до +1.69 процентного пункта. Вероятность, что B лучше, — около 98%. Обратите внимание на ширину интервала: реальный прирост может быть и почти нулевым, и больше 40% относительно A. Значимость говорит, что эффект есть, но не говорит точно, какой он.
Размер выборки до начала теста
Самая частая ошибка — запустить тест и остановить его, как только p-value опустилось ниже 0.05. Если смотреть на результат каждый день, вероятность ложной «победы» вырастает в разы. Правильно — заранее рассчитать выборку и не останавливать тест раньше. Для этого нужны текущая конверсия, минимальный эффект, который вы хотите заметить (MDE), уровень значимости и мощность теста — вероятность заметить эффект, если он есть (обычно 80%).
| Текущая конверсия | Минимальный эффект | Выборка на вариант (α 0.05, мощность 80%) |
|---|---|---|
| 3% | +15% (до 3.45%) | ≈ 24 200 |
| 3% | +7.5% (до 3.23%) | ≈ 93 500 |
| 10% | +20% (до 12%) | ≈ 3 840 |
Видно правило: уменьшение MDE вдвое увеличивает выборку примерно в четыре раза. Если трафика мало, тестируйте крупные изменения — новую структуру страницы, оффер, форму, — а не цвет кнопки. Калькулятор переводит выборку в дни по вашему трафику; округляйте срок до полных недель, чтобы будни и выходные попали в тест поровну.
Правила честного теста
- Одна главная метрика, выбранная до старта.
- Выборка и срок рассчитаны заранее; не подглядывайте и не останавливайте раньше.
- Трафик делится случайно и равномерно; один пользователь видит один вариант.
- Тест идёт полные недели и не попадает на нетипичные периоды (распродажи, праздники).
- Цели в аналитике настроены и проверены — см. цели в Яндекс Метрике.
Что посчитать дальше
Какой шаг воронки тестировать первым — покажет калькулятор воронки. Как рост конверсии сайта снизит цену заявки — калькулятор стоимости лида. Скорость страницы тоже влияет на конверсию: см. статью Core Web Vitals для бизнеса.
Мы помогаем ставить эксперименты на сайтах и посадочных страницах: от гипотез и разметки целей до разработки вариантов — подробнее в разделе SEO-продвижение.
Если результат не значим
Незначимый результат — тоже результат. Он означает, что при вашей выборке разница не отличима от случайности: либо эффекта нет, либо он меньше, чем тест мог заметить. Не продлевайте тест до бесконечности в надежде «дожать» значимость. Посмотрите на доверительный интервал: если он узкий и близок к нулю, изменение почти ничего не даёт — выбирайте вариант, который проще поддерживать. Если широкий — выборки не хватило, и следующий тест стоит планировать на больший эффект или с большим трафиком.
И ещё одна практическая деталь: перед запуском проверьте, что оба варианта корректно отправляют цель в аналитику и одинаково быстро загружаются. Тест, в котором вариант B медленнее из-за тяжёлой картинки, сравнивает не идеи, а скорость.
Вопросы и ответы
Как понять, что A/B-тест значим?
Если p-value меньше выбранного уровня α (обычно 0.05) и доверительный интервал разницы не включает ноль — разница статистически значима.
Сколько посетителей нужно для A/B-теста?
Зависит от текущей конверсии и эффекта, который хотите заметить. При конверсии 3% и эффекте +15% — около 24 тысяч на вариант. Калькулятор считает под ваши цифры.
Можно ли остановить тест, как только он стал значимым?
Нет: регулярные «подглядывания» многократно повышают риск ложного результата. Дождитесь заранее рассчитанной выборки.
Что такое мощность теста?
Вероятность обнаружить эффект заданного размера, если он действительно есть. Стандарт — 80%.
Подходит ли калькулятор для среднего чека или времени на сайте?
Нет, он для конверсий (долей). Для непрерывных метрик нужен t-тест с дисперсией выборки.
Можно ли тестировать сразу несколько вариантов?
Можно, но при сравнении многих вариантов растёт риск случайной победы. Нужна поправка на множественные сравнения и больше трафика; для начала лучше A/B.
Какой уровень значимости выбрать?
Стандарт — 95%. Для быстрых и легко откатываемых изменений можно 90%, для дорогих решений — 99%, но тогда нужна большая выборка.