Минимальная выборка для сравнения групп

Q: Когда нужен расчёт на группу для сравнения?

При планировании A/B-теста или сравнения двух сегментов (конверсия, CSAT). Нужно знать, сколько респондентов набрать в каждую группу.

Q: Что такое мощность (power)?

Вероятность обнаружить реальную разницу. 80% — в 20% случаев эффект можно ошибочно не обнаружить.

Q: Что такое MDE?

Minimum Detectable Effect — минимальная разница, которую хотите обнаружить. Чем меньше MDE, тем больше выборка.

Q: Почему два режима — пропорции и средние?

Пропорции — доли (конверсия, %). Средние — непрерывные метрики (средний чек, балл). Формулы различаются.

Q: Равные ли размеры групп?

Калькулятор считает равные группы. При соотношении 2:1 берите n для меньшей группы.

Q: Как оценить стандартное отклонение для средних?

Из прошлых данных или пилота. Для шкалы 1–10 часто σ ≈ 2–3.

Q: Чем это отличается от калькулятора размера выборки для одной доли?

Там — точность одной доли. Здесь — мощность обнаружить разницу между двумя группами.

Q: После расчёта как проверить значимость?

После сбора данных используйте калькулятор статзначимости A/B или z-тест. Этот калькулятор только планирует размер выборки.

Узнайте, сколько респондентов нужно в каждой группе, чтобы надёжно обнаружить разницу между двумя пропорциями (например, конверсия A vs B) или двумя средними. Задайте уровень значимости (α), мощность (1−β) и ожидаемый эффект

Размер выборки на группу для сравнения двух групп зависит от уровня значимости α (вероятность ложноположительного), мощности 1−β (вероятность обнаружить эффект) и минимального обнаруживаемого эффекта (MDE)

Частые вопросы

Параметры

Доля в группе 1 (базовая), %

Например, текущая конверсия 20% → введите 20

Доля в группе 2 (ожидаемая), %

Ожидаемая конверсия после изменений. Разница с группой 1 = MDE

Среднее в группе 1

Среднее в группе 2

Стандартное отклонение (общее или среднее)

Предполагаем равные дисперсии в группах

Уровень значимости (α)

0.05 (95%) 0.01 (99%)

Мощность (1−β)

80% 90%

Предположения

Двусторонний тест (two-tailed)
Равные размеры групп
Для средних — равные дисперсии

На группу

—

респондентов

Спланируйте A/B-тест и соберите ответы в WebAsk

Создать опрос бесплатно

Данные не сохраняются — расчёт в браузере.

Формулы

Две пропорции

n на группу ≈ (z_α/2 + z_β)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₁−p₂)². z_α/2 для α=0.05 равен 1.96, z_β для мощности 80% — 0.84.

Два средних

n на группу ≈ 2 × (z_α/2 + z_β)² × σ² / (μ₁−μ₂)². σ — общее стандартное отклонение, (μ₁−μ₂) — разница средних (MDE).

Мощность и MDE

Мощность 80% — в 80% случаев при заданной разнице тест её обнаружит. MDE — минимальная разница, которую вы хотите обнаружить. Чем меньше MDE, тем больше выборка.

Когда какой режим

Пропорции — для конверсий, долей, % довольных (A/B по конверсии). Средние — для непрерывных метрик: средний чек, время, балл по шкале. После расчёта проверяйте значимость отдельным калькулятором.

Примеры планирования выборки

1 Пропорции: A/B по конверсии

Вариант A: конверсия 20%, вариант B: 28% (разница 8 п.п.)

α = 0,05, мощность 80%

Калькулятор даст n на группу (порядка нескольких сотен). Эту выборку набираете в каждую группу; затем проверяете значимость в калькуляторе A/B-теста.

2 Средние: когда использовать режим «два средних»

Не конверсия, а непрерывная метрика: средний чек, время на сайте, балл по шкале 1–10

Задаёте ожидаемые средние (μ₁, μ₂), общее стандартное отклонение σ и MDE. Калькулятор вернёт n на группу для сравнения средних (t-тест). Оценку σ берите из прошлых данных или пилота.

3 Малая разница — большая выборка

Конверсия A: 10%, B: 12% (MDE 2 п.п.). Для детекции малого эффекта нужен большой n

Калькулятор покажет несколько тысяч на группу. Если такой объём недостижим, увеличьте MDE или снизьте мощность.

4 CSAT двух сегментов

Сравниваем % довольных (top-2) у мужчин и женщин. Ожидаемые доли 70% vs 80%, α = 0,05, мощность 80%

Введите две пропорции — калькулятор вернёт минимальный размер выборки в каждой группе для сравнения долей.

5 Строгие критерии (α = 0,01, мощность 90%)

Меньше α — меньше ложноположительных; выше мощность — выше шанс поймать эффект

n на группу будет больше, чем при α = 0,05 и мощности 80%. Используйте для критичных решений.

6 Средний чек: два канала

Канал 1: средний чек 5 000 ₽, канал 2: 5 500 ₽. σ ≈ 2 000 (из прошлых данных). MDE = 500 ₽

Режим «два средних»: введите μ₁, μ₂, σ и MDE. Калькулятор вернёт n на канал для t-теста.

Часто задаваемые вопросы

Когда нужен расчёт на группу для сравнения?

Когда вы планируете A/B-тест или сравнение двух сегментов (например, конверсия после рассылки A vs B, CSAT у мужчин и женщин). Нужно знать, сколько респондентов набрать в каждую группу.

Что такое мощность (power)?

Вероятность того, что тест обнаружит реальную разницу. Мощность 80% — в 20% случаев мы можем ошибочно не обнаружить эффект (ошибка II рода). Обычно целевая мощность 80% или 90%.

Что такое MDE?

Minimum Detectable Effect — минимальная разница, которую вы хотите обнаружить. Например, конверсия 20% vs 25% — MDE 5 п.п. Чем меньше MDE, тем больше нужна выборка.

Почему два режима — пропорции и средние?

Пропорции — доли (конверсия, % довольных). Средние — непрерывные метрики (средний чек, время, балл по шкале). Формулы различаются.

Равные ли размеры групп?

Калькулятор считает равные группы (n в каждой). Если планируете 2:1, возьмите расчётное n для меньшей группы; для большей умножьте на коэффициент.

Как оценить стандартное отклонение для средних?

Из прошлых данных или пилотного опроса. Если неизвестно — возьмите ориентир: для шкалы 1–10 часто σ ≈ 2–3; для времени ответа — из логов.

Чем это отличается от калькулятора размера выборки для одной доли?

Там — точность оценки одной доли (погрешность, доверительный интервал). Здесь — мощность обнаружить разницу между двумя группами. Задачи разные.

После расчёта как проверить значимость?

Когда соберёте данные, используйте калькулятор статзначимости A/B или z-тест для двух пропорций/средних. Этот калькулятор только планирует размер выборки до сбора данных.

Все калькуляторы

Спланируйте исследование

Рассчитайте выборку и соберите ответы в WebAsk. A/B-тесты и сравнение сегментов в отчётах.