MDE (Minimum Detectable Effect, минимально обнаруживаемый эффект)

Вы запустили A/B-тест формулировки вопроса. Через неделю — 200 ответов, разница в конверсии 3%, p = 0.31 — незначимо. Меняете обратно. Но подождите: а могла ли ваша выборка вообще обнаружить разницу в 3%?

При 200 ответах минимальный обнаруживаемый эффект — около 10%. Вы не нашли результата не потому, что его нет, а потому что у теста не было мощности его найти. Эти 10% и есть MDE: ниже такой границы тест слеп по определению.

Определение

MDE зависит от уровня значимости (α), мощности (1-β) и размера выборки. При планировании A/B-тестов это ключевой параметр: если ожидаемый эффект меньше MDE, тест, скорее всего, не покажет значимого результата, даже если эффект есть.

Зачем нужен MDE

MDE решает фундаментальную проблему дизайна исследования: вы должны решить заранее, какой эффект вам практически важно обнаружить, и убедиться, что выборка достаточно велика для этого.

Без MDE происходит один из двух сценариев:

Сценарий 1: слишком мало данных. Вы останавливаете тест при недостаточной выборке. Реальный эффект 5% не обнаружен, потому что MDE при вашей выборке — 12%. Вывод "нет разницы" ошибочен. Правильный вывод: "у нас не хватило данных, чтобы обнаружить эффект меньше 12%".

Сценарий 2: слишком много данных. Вы собираете 50 000 ответов для теста, где достаточно 500. Ресурсы потрачены избыточно, а тест с 50 000 обнаружит статистически значимые, но практически бессмысленные различия меньше одного процентного пункта.

MDE помогает найти баланс: собрать ровно столько данных, чтобы обнаружить именно тот эффект, который важен для принятия решения.

Связь MDE с мощностью теста и уровнем значимости

MDE зависит от трёх параметров дизайна теста:

α (уровень значимости) — вероятность ложноположительного результата (найти эффект там, где его нет). Стандарт: α = 0.05. При более жёстком пороге (α = 0.01) для того же MDE нужна большая выборка.

β (вероятность ошибки второго рода) — вероятность не обнаружить эффект, который реально существует. Мощность теста = 1 - β. Стандарт: мощность 80% (β = 0.20). При мощности 90% нужно примерно на 35% больше данных.

n (размер выборки) — количество наблюдений. Чем больше n, тем меньший эффект можно обнаружить. MDE ∝ 1/√n: удвоить чувствительность = увеличить выборку в 4 раза.

Эти три параметра связаны: задайте любые два — третий определяется автоматически. На практике задают α и мощность, а затем либо считают нужный n для заданного MDE, либо считают MDE для имеющегося n.

MDE для долей: расчёт и интерпретация

Самый частый случай в A/B-тестах — сравнение долей (конверсий, процентов ответивших, доли промоутеров).

Приближённая формула MDE для сравнения двух долей:

MDE = (z_α/2 + z_β) × √(2 × p̄ × (1-p̄) / n)

Где p̄ — средняя доля между группами, z_α/2 = 1.96 (для α=0.05), z_β = 0.84 (для мощности 80%), n — размер каждой группы.

Пример: базовая конверсия 30%, по 200 человек в группе:

MDE = (1.96 + 0.84) × √(2 × 0.3 × 0.7 / 200) = 2.8 × √(0.0021) = 2.8 × 0.0458 ≈ 0.128

MDE ≈ 12.8 процентных пункта. Тест с такой выборкой обнаружит только различия от 30% до 42.8% (или до 17.2%). Если реальный эффект — 5 пп, этот тест его не найдёт.

Пример: планирование A/B-теста опросного формата

Команда тестирует два варианта вступительного экрана welcome screen в опросе. Метрика — доля начавших прохождение (click-through rate). Текущий CTR = 45%.

Вопрос: "Сколько нам нужно показов, чтобы обнаружить улучшение CTR хотя бы на 5 пп — с 45% до 50%?"

Используем обратный расчёт (из MDE → n):

n = 2 × p̄ × (1-p̄) × ((z_α/2 + z_β) / MDE)²

n = 2 × 0.475 × 0.525 × (2.8 / 0.05)² = 0.4988 × 3136 ≈ 1564

Нужно примерно 1564 показа на каждый вариант — итого около 3 128 показов суммарно. При трафике 500 показов в день тест займёт ~6 дней. Это реалистично. Если бы хотели обнаружить разницу в 2 пп — нужно было бы ~9 800 показов на вариант, то есть больше месяца, около 40 дней. Возможно, такой эффект слишком мал, чтобы оправдывать затраты.

Относительный vs абсолютный MDE

MDE можно выражать двумя способами, и это важно не путать:

Какую разницу между группами можно заметить

Абсолютный MDE — разница в единицах измерения. "Обнаружим изменение конверсии не менее чем на 5 процентных пунктов" (с 30% до 35%).

Относительный MDE — изменение в процентах от базового значения. "Обнаружим изменение не менее чем на 10% от текущего значения". При базовой конверсии 30% это 3 процентных пункта (30% × 10% = 3 пп).

Относительный MDE удобен для сравнения тестов с разными базовыми показателями, но может вводить в заблуждение. Улучшение на 10% от 0.5% конверсии — это 0.55%, что крайне сложно обнаружить. Всегда уточняйте, какой именно MDE имеется в виду.

MDE при измерении средних

Для числовых оценок (средний балл удовлетворённости, средний NPS) MDE выражается в единицах шкалы и зависит от стандартного отклонения данных. Чем больше разброс ответов — тем труднее обнаружить малый эффект.

Ориентир через Cohen's d: MDE = d × SD. Если SD = 2.0 и вы хотите обнаружить средний эффект (d = 0.5), то MDE = 0.5 × 2.0 = 1.0 балл. Для малого эффекта (d = 0.2) — MDE = 0.4 балла, что требует значительно большей выборки.

Типичные ошибки при работе с MDE

Не считать MDE до запуска теста. Самая распространённая ошибка. Тест запускают "на глаз", собирают данные до первого значимого результата или до конца недели — и получают либо недостаточную мощность, либо завышенную точечную оценку эффекта (выигрышное смещение при ранней остановке).

Путать MDE с ожидаемым эффектом. MDE — это порог чувствительности теста. Реальный эффект может быть больше или меньше. Если ожидаемый эффект равен MDE — мощность теста составляет ровно 80%: в 20% случаев тест его пропустит. Для надёжного обнаружения лучше планировать MDE несколько ниже ожидаемого эффекта.

Останавливать тест досрочно при первом значимом результате. Если смотреть на p-value несколько раз в процессе накопления данных, вероятность ложноположительного результата растёт. Размер выборки и срок теста фиксируют заранее — и придерживаются плана независимо от промежуточных результатов.

Игнорировать практическую значимость при выборе MDE. Задать MDE в 0.1% потому что "чем точнее, тем лучше" — ошибка. Выборка вырастет в сотни раз, а обнаруженный эффект в 0.1% не повлияет ни на одно реальное решение. MDE должен соответствовать порогу практической значимости: какое минимальное улучшение оправдывает изменение?

MDE в A/B-тестировании опросов

В A/B-тестах опросных форматов MDE применяется для: сравнения completion rate двух вариантов анкеты, оценки разницы в response rate при разных формулировках приглашения, измерения влияния порядка вопросов или дизайна на конверсию.

Размер выборки и доверительный интервал

Перед запуском теста: определите, какое минимальное улучшение оправдывает изменение → рассчитайте нужную выборку → убедитесь, что трафик позволяет набрать её за разумное время. Для расчёта используйте калькулятор значимости A/B-тестов WebAsk — он рассчитывает нужный размер выборки по заданному MDE и параметрам мощности.

С MDE тест планируют без самообмана. Зная MDE заранее, вы принимаете осознанное решение: этот тест способен обнаружить важный для меня эффект или нет. Запускать тест без расчёта MDE — всё равно что ехать на встречу, не зная, хватит ли бензина.

Частые вопросы

Как выбрать правильный MDE для теста?

Отталкивайтесь от бизнес-логики: какое минимальное улучшение метрики оправдывает затраты на изменение? Если внедрение нового варианта стоит 200 тысяч рублей, а каждый процентный пункт конверсии приносит 50 тысяч — минимальный оправданный эффект 4 пп. Это и есть ваш MDE. Математика подскажет, сколько данных нужно для его обнаружения.

Что делать, если нужной выборки не набрать за разумное время?

Три варианта: увеличить MDE (принять, что интересует только более сильный эффект), снизить мощность с 80% до 70% (рискованнее, но требует меньше данных), или отказаться от теста и принять решение на основе экспертной оценки. Компромисс всегда лучше, чем тест с заведомо недостаточной мощностью — он создаёт ложное ощущение обоснованности решения.

Можно ли менять MDE после запуска теста?

Нет — это статистическая ошибка, называемая p-hacking или HARKing. Изменение MDE или размера выборки после просмотра данных нарушает гарантии уровня значимости. Если хотите пересмотреть дизайн — останавливайте текущий тест и запускайте новый с новыми параметрами с нуля.

Как MDE связан с мощностью теста?

МDE и мощность — две стороны одного параметра. При фиксированной выборке и α: снизить MDE (обнаруживать меньший эффект) = снизить мощность. Повысить мощность (реже пропускать реальный эффект) = увеличить выборку. Стандарт — мощность 80% при α = 0.05. Это означает: тест с правильно рассчитанной выборкой обнаружит реальный эффект, равный MDE, в 80% случаев.

Применяется ли MDE только к A/B-тестам?

Нет. MDE — универсальная концепция для любого статистического теста: сравнение групп в опросе, измерение изменения показателя между волнами исследования, оценка корреляции. Везде, где нужно заранее определить, какой минимальный эффект важен для обнаружения и сколько данных для этого нужно.