A/B-тест при малом трафике: хватит ли посетителей и времени
При малом трафике сначала переведите согласованный размер групп A/B-теста в срок набора допустимых участников. Считайте новые единицы рандомизации, долю включения и распределение между вариантами. Общая посещаемость сайта для этого недостаточна: если нужные группы не набираются в доступное время, тест не даст запланированной точности по одному желанию бизнеса.
Какое решение должен поддержать эксперимент
Запишите проверяемое изменение, основную метрику и эффект, который имеет смысл для решения. Вопрос «какой цвет победит» слабее вопроса о конкретном действии пользователя. Нужен заранее согласованный план анализа, а не только техническая возможность показать две версии.
В описании калькулятора Eppo расчёт связан с метрикой, её средним и вариативностью, числом участников и параметрами анализа. Поэтому универсального требования вроде тысячи посетителей для любого теста отсюда не следует. Размер групп ниже будет учебным входным условием, не результатом статистической оценки.
Посещения не всегда равны новым участникам
Определите единицу распределения: пользователь, компания или иной объект согласно задаче. Возвращения одного объекта не должны незаметно превращаться в новые независимые назначения. Иначе скорость набора выглядит выше, чем предусмотрено планом.
Затем выделите допустимую аудиторию: нужную страницу, тип клиента или другие согласованные условия. Eppo отдельно использует Entity, Entry Point и фильтр входа. Это полезное напоминание: измерять нужно поток в заданную границу эксперимента, а не всех открывших сайт.
Проверьте качество идентификации и сохранение варианта при повторном обращении. Если один участник непредусмотренно видит оба варианта, сначала разберите реализацию. Большой счётчик показов не компенсирует неопределённость того, кого и с чем сравнивают.
Учебная таблица набора групп
Все значения условные. Для каждой строки размер группы считаем отдельно согласованным статистическим планом. Допускаем стабильные 80 новых пригодных единиц в день и равное распределение. Доля включения относится ко всему этому потоку, а контроль входит в число групп.
| Учебный план | Нужно на группу | Групп | Пригодных новых единиц в день | Включено в тест | Оценка дней набора | Ограничение |
|---|---|---|---|---|---|---|
| Две версии, полный поток | 1 000 | 2 | 80 | 100% | 25 | Без времени на дозревание результата |
| Те же группы, половина потока | 1 000 | 2 | 80 | 50% | 50 | Нельзя делить весь поток между группами ещё раз неверно |
| Больший согласованный размер | 2 000 | 2 | 80 | 50% | 100 | N задан, а не выведен из числа дней |
| Отдельно согласованы три группы | 1 000 | 3 | 80 | 50% | 75 | Не доказана та же мощность при добавлении варианта |
Во второй строке в эксперимент попадает 80 × 50% = 40 новых единиц в день. Для двух групп по тысяче требуется 2 000 / 40 = 50 дней набора. В каждой группе при равном распределении окажется в среднем по 20 новых единиц за день.
Общая формула для этих допущений: число групп × требование на группу / поток включённых новых единиц. Если бизнес готов ждать только 30 дней, вторая строка не помещается в срок. Это вывод о заданном плане, а не доказательство, что любое исследование сайта невозможно.
Календарный срок может оказаться больше оценки
Средний поток не гарантирует дату. Учитывайте изменения источников, сезонность и условия включения. Eppo предупреждает, что исторический период может быть непредставительным для будущего эксперимента. Проверьте основание дневного числа, прежде чем назвать его владельцу бизнеса.
Отдельно нужен период наблюдения целевого результата. Если действие происходит позже первого визита, окончание набора не означает, что все исходы уже доступны. Укажите обе границы, чтобы не завершить анализ на более молодых участниках одного варианта.
Не назначайте обязательное одинаковое число полных недель для всех продуктов по чужому примеру. Требования к циклам поведения и анализу должны соответствовать задаче. Календарная арифметика помогает увидеть ограничения, но не выбирает статистический метод за специалиста.
Что делать с неравным распределением
Если варианты получают разные доли, общей суммы участников недостаточно. Проверяйте достижение нужного размера каждой группы по выбранному плану. Самая медленно набирающаяся группа может определять срок, хотя общий счётчик уже выглядит большим.
Если фактическое распределение отличается от настроенного, сначала выясните причину. Не подгоняйте правила задним числом, чтобы признать тест завершённым. Исправление реализации и решение о пригодности собранных данных требуют отдельного рассмотрения.
Когда тест не помещается в доступное время
Рассмотрите более узкое управленческое решение или более заметное изменение, заново согласовав план. Добавление вариантов ради интереса может ухудшить выполнимость. Увеличение трафика тоже не помогает автоматически, если приходит другая аудитория или не выполняются условия включения.
Другой путь — проверить ошибки формы, понятность сценария и техническую работоспособность без обещания измерить причинный прирост конверсии. Такие проверки решают собственные задачи. Их результат нельзя назвать победой версии в A/B-тесте, который не состоялся.
Для продвижения сайта согласуйте эксперимент с изменениями источников и страниц. Если требуется разработка веб-приложения, задайте идентификацию и распределение в требованиях. В автоматизации отчётов сохраняйте принятый план рядом с результатами.
Проверка до запуска
- Определите решение, метрику и значимый для него эффект.
- Согласуйте размер и правила анализа с выбранным методом.
- Установите единицу назначения и допустимую аудиторию.
- Измерьте поток новых пригодных единиц, не подменяя его визитами.
- Рассчитайте набор каждой группы и время наблюдения результата.
- Сравните срок с доступным окном бизнеса и проверьте сезонные допущения.
- Заранее закрепите порядок просмотра, остановки и обработки сбоев эксперимента.
Вопросы и ответы
Сколько участников нужно для A/B-теста?
Размер зависит от метрики, эффекта, вариативности и плана анализа. Числа учебной таблицы заданы условно и не являются универсальным минимумом.
Как оценить длительность набора выборки?
Для равных групп разделите суммарное требование на поток новых допустимых единиц, включаемых в эксперимент. Отдельно добавьте предусмотренное время наблюдения результата.
Как считать срок при неравном размере групп?
Проверяйте требование и скорость набора каждой группы. Общий счётчик не доказывает, что более медленная группа уже получила нужное количество участников.