Зачем нужен автопоиск стат-значимых различий?

Ручная проверка каждой пары сегментов по каждой метрике становится невозможной. Автопоиск делает это за секунды и сортирует находки по размеру эффекта.

Что важнее: p-value или Cohen d?

На большой выборке статистически значимым может стать ничтожно малый эффект. Cohen d показывает практическую значимость.

Автопоиск стат-значимых различий между сегментами

Q: Почему Welch t-test?

Welch не требует равных дисперсий между группами и устойчив к неравным выборкам — стандартный дефолт для сравнения групп.

Q: Что делает поправка Bonferroni?

При 20 одновременных тестах на α=0.05 в среднем будет 1 ложноположительный результат. Bonferroni делит α на число сравнений.

Q: Что если сегмент очень маленький?

При n < 30 t-test становится менее точным. Алгоритм отфильтрует сегменты с n < 10.

Q: Подходит ли для категориальных переменных?

В этой версии — только числовые метрики. Для категориальных нужен хи-квадрат — см. /tools/chi-square-calculator.

Q: Какую поправку на множественные сравнения выбрать?

Bonferroni — самая строгая (делит α на число сравнений). Holm — менее строгая. Benjamini-Hochberg (FDR) — контролирует долю ложных открытий, подходит для exploratory-задач.

Q: Что делать при очень разных дисперсиях между сегментами?

Welch t-test не требует равных дисперсий и сам корректирует степени свободы. При сильно скошенных распределениях смотрите ещё на медианы и Mann-Whitney.

Q: Что значит размер эффекта Cohen’s d для бизнеса?

d=0.2 малый, d=0.5 средний, d=0.8+ большой эффект. Статистически значимый, но маленький d (0.1) часто не стоит инвестиций.

Q: Что если сегмент очень маленький?

При n < 30 t-test становится менее точным. Алгоритм отфильтрует сегменты с n < 10. Для малых сегментов лучше использовать precision-методы (бутстрап, точные тесты).

Загрузите CSV с метриками и колонкой сегмента — алгоритм автоматически прогоняет t-тесты для всех пар сегментов по каждой метрике и сортирует находки по силе эффекта.

Что сравнивается — все пары сегментов по каждой числовой метрике через Welch t-test. С поправкой Bonferroni для множественных сравнений. Размер эффекта — Cohen's d.

1. Данные

CSV-файл (последняя колонка — сегмент) Выбрать CSV… Первая строка — названия колонок. Числовые колонки = метрики. Текстовая колонка с категориями = сегмент.

Или вставьте CSV

Колонка сегмента (по умолчанию последняя)

NPS,CSAT,Время_прохождения,Сегмент 9,5,180,Премиум 7,4,210,Базовый 10,5,150,Премиум 6,3,300,Базовый 8,4,200,Премиум 7,4,220,Базовый 9,5,170,Премиум 6,3,280,Базовый 10,5,160,Премиум 5,3,310,Базовый 8,4,190,Премиум 7,4,240,Базовый 9,5,170,Премиум 7,4,260,Базовый 10,5,140,Премиум 6,3,330,Базовый 8,4,180,Премиум 6,3,290,Базовый 9,5,160,Премиум 5,2,340,Базовый

2. Параметры

Уровень значимости α

Поправка на множественные сравнения Bonferroni делит α на число сравнений. Снижает риск ложных находок.

Респондентов

—

Сегментов

—

Различий

—

Стат-значимые различия

Соберите данные в WebAsk и запустите автопоиск различий

Создать опрос бесплатно

Что считает автопоиск

Welch t-test

Не требует равных дисперсий, работает на неравных выборках. Стандарт для сравнения средних между двумя группами в опросах.

p-value

Вероятность увидеть такую разницу при отсутствии реальной разницы. p < 0.05 — стат-значимо при стандартном уровне.

Cohen's d

Размер эффекта в стандартных отклонениях. 0.2 — малый, 0.5 — средний, 0.8 — большой. p-value без d может ввести в заблуждение.

Bonferroni

Поправка α / число сравнений. При 20 тестах α=0.05 становится 0.0025 — спасает от ложных находок на множественных сравнениях.

Часто задаваемые вопросы

Зачем нужен автопоиск?

Ручная проверка каждой пары сегментов по каждой метрике быстро становится невозможной. Автопоиск делает это за секунды и сортирует находки по размеру эффекта — самое важное наверху.

Почему Welch t-test?

Welch не требует равных дисперсий между группами и устойчив к неравным выборкам — стандартный дефолт для сравнения групп. Классический Student t-test предполагает равные дисперсии и менее устойчив.

Что делает Bonferroni?

При 20 одновременных тестах на α=0.05 в среднем будет 1 ложноположительный результат. Bonferroni делит α на число сравнений (новый α = 0.0025) — это спасает от ложных находок ценой меньшей чувствительности.

Что важнее: p-value или d?

На большой выборке статистически значимым может стать ничтожно малый эффект. Всегда смотрите Cohen's d вместе с p-value — d показывает практическую значимость, p-value — статистическую уверенность.

Что если сегмент очень маленький?

При n < 30 t-test становится менее точным. Алгоритм отфильтрует сегменты с n < 10. Для малых сегментов лучше использовать precision-методы (бутстрап, точные тесты).

Можно ли использовать для NPS?

Да, NPS 0-10 подходит. Но для самой метрики NPS (% промоутеров − % критиков) лучше использовать тест пропорций или хи-квадрат — здесь сравниваются средние оценок.

Подходит ли для категориальных переменных?

В этой версии — только числовые метрики. Для категориальных (выбор варианта, да/нет) нужен хи-квадрат — см. хи-квадрат калькулятор. Для проверки конкретного A/B-теста — статзначимость A/B.

Какую поправку на множественные сравнения выбрать?

Bonferroni — самая строгая, делит α на число сравнений; подходит для отчёта с малой вероятностью ложных срабатываний. Holm — менее строгая, лучше мощность при том же контроле FWER. Benjamini-Hochberg (FDR) — контролирует долю ложных открытий, не семейную ошибку; подходит для exploratory-задач с десятками тестов.

Что делать при очень разных дисперсиях между сегментами?

Welch t-test (используется в инструменте) специально не требует равных дисперсий — он скорректирует степени свободы. Если разница огромная (в 10+ раз), смотрите ещё на медианы и Mann-Whitney U-test — параметрические тесты на скошенных распределениях могут вводить в заблуждение.

Что значит размер эффекта Cohen’s d для бизнеса?

d = 0.2 — малый эффект, обычно требует большой выборки чтобы быть замеченным; d = 0.5 — средний, виден в каждодневной работе; d = 0.8+ — большой, очевидный без статистики. Статистически значимый, но маленький d (например 0.1) часто не стоит инвестиций — экономический эффект мизерный.

Все инструменты

Запустите анализ ответов из WebAsk

Соберите ответы в WebAsk, экспортируйте CSV с сегментом — и автопоиск выдаст все значимые различия за секунду.

Создать опрос бесплатно