Статзначимость A/B-теста
Проверьте, является ли разница конверсий между вариантами статистически значимой. Z-тест для двух пропорций
Статистическая значимость — вероятность того, что наблюдаемая разница не случайна. При p-value < 0.05 разница считается значимой (95% уверенность)
Данные A/B-теста
Вариант A (контроль)
Вариант B (тест)
Предположения
- Двусторонний Z-тест для двух пропорций
- Предполагается независимость выборок
- n × p > 5 для обоих вариантов
Результат теста
—
Введите данные
Проведите A/B-тест в WebAsk
Создать опрос бесплатноПримеры A/B-тестов
1 Конверсия: вариант A vs B
Вариант A: 100 конверсий из 1000 (10%)
Вариант B: 130 конверсий из 1000 (13%)
Разница 3 п.п. Калькулятор посчитает z-score и p-value. При p < 0,05 разница значима при α = 0,05 — вариант B лучше с статистической точки зрения.
2 Клики по CTA
Вариант A: 45 кликов из 500 (9%)
Вариант B: 52 кликов из 500 (10,4%)
Небольшая разница 1,4 п.п. — калькулятор покажет, достаточна ли выборка для вывода о значимости.
3 Регистрации (разные объёмы)
Вариант A: 80 из 2000 (4%)
Вариант B: 120 из 2000 (6%)
Разница 2 п.п. При таком n двухвыборочный z-тест покажет, значима ли разница при α = 0,05.
4 Отказ от корзины
Контроль: 200 отказов из 1000 (20%)
Новая воронка: 150 отказов из 1000 (15%)
Снижение отказов на 5 п.п. — калькулятор поможет проверить значимость улучшения.
5 Подписка на рассылку
Вариант A: 30 подписок из 600 (5%)
Вариант B: 42 подписок из 600 (7%)
Рост на 2 п.п. — при 600 визитах на вариант может не хватить мощности для значимого вывода.
6 Конверсия в покупку
Старый лендинг: 25 покупок из 500 (5%)
Новый лендинг: 35 покупок из 500 (7%)
+2 п.п. — введите данные в калькулятор и проверьте p-value перед принятием решения.
Чего избегать
- Останавливать тест раньше времени Дождитесь запланированного размера выборки. Ранняя остановка (peeking) искажает p-value и повышает риск ложноположительных результатов.
- Сравнивать много групп без учёта множественных сравнений Чем больше пар сравнений, тем выше риск ложноположительных. Фиксируйте один основной вопрос и размер выборки до запуска.
- Путать статистическую и практическую значимость Разница может быть значимой (p < 0,05), но слишком малой для бизнеса. Смотрите на разницу в процентах и на минимальный значимый эффект.
- Не планировать выборку до запуска Рассчитайте минимальный размер через калькулятор минимальной выборки для сравнения групп. Иначе тест может не показать реальный эффект.
Часто задаваемые вопросы
Что такое статистическая значимость?
Сколько нужно конверсий для теста?
Что делать, если результат не значим?
Что такое мощность теста?
Можно ли остановить тест раньше, если видна разница?
Что означает p-value = 0.05?
Какой тест использует калькулятор?
Где провести A/B-тест опроса?
Проведите A/B-тест в WebAsk
Настройте ветвление и соберите данные по вариантам — проверьте значимость здесь или в отчёте
Создать опрос бесплатно