ANOVA (Analysis of Variance, дисперсионный анализ)

Вы сравниваете удовлетворённость клиентов в трёх регионах: Москва — 7.4, Петербург — 6.9, Екатеринбург — 7.1. Провести три отдельных t-теста? Это ошибка — каждый тест добавляет риск ложного срабатывания, и при трёх сравнениях вероятность случайно найти "значимое" различие вырастает до 14% вместо 5%.

ANOVA (дисперсионный анализ) решает эту проблему: проверяет все группы одновременно одним тестом, корректно удерживая уровень ошибки.

Определение

Анализирует соотношение вариабельности между группами к вариабельности внутри групп. Результат — F-статистика и p-value, которые показывают, есть ли среди групп хотя бы одна, значимо отличающаяся от остальных. При значимом результате требует пост-хок тестов для определения, какие именно группы отличаются.

Почему нельзя просто провести несколько t-тестов

При каждом t-тесте вероятность ложноположительного результата — 5% (при пороге p < 0.05). Это означает: при 5% тестов мы ошибочно признаём случайные различия реальными. При множественных сравнениях эти ошибки накапливаются.

Если сравнивать 3 группы попарно (A-B, A-C, B-C) — три t-теста. Вероятность хотя бы одной ложной значимости: 1 - 0.95³ ≈ 14%. При 5 группах — 10 пар — вероятность уже 40%. ANOVA тестирует все группы за один раз, сохраняя общую вероятность ошибки на уровне 5%.

Это называется проблемой множественных сравнений, и именно её ANOVA решает на этапе первичной проверки.

Как работает ANOVA

Идея ANOVA — разложить общую вариабельность данных на две части:

Вариабельность между группами (Between-group variance). Насколько сильно средние значений отличаются от общего среднего. Если группы действительно разные — эта вариабельность большая.

Вариабельность внутри групп (Within-group variance). Насколько сильно отдельные наблюдения отличаются от среднего своей группы. Это "шум" — естественный разброс внутри каждой группы.

F-статистика — отношение этих двух величин:

F = Вариабельность между группами / Вариабельность внутри групп

Если F близко к 1 — различия между группами не выходят за пределы обычного шума. Если F существенно больше 1 — различия значимее, чем случайный разброс. По F-статистике и степеням свободы вычисляется p-value. Если p < 0.05 — хотя бы одна группа значимо отличается от остальных.

Однофакторный и двухфакторный ANOVA

Однофакторный ANOVA (One-way ANOVA) — сравнение групп по одному фактору. Пример: оценка удовлетворённости в трёх регионах. Фактор один — регион. Проверяем, влияет ли регион на оценку.

Двухфакторный ANOVA (Two-way ANOVA) — одновременный анализ двух факторов и их взаимодействия. Пример: оценка удовлетворённости по регионам И по типу клиента (B2B vs B2C). Можно проверить: влияет ли регион? Влияет ли тип клиента? Есть ли взаимодействие — то есть, различается ли влияние региона для B2B и B2C клиентов?

Взаимодействие факторов — важный инсайт, который невозможно получить из двух отдельных однофакторных ANOVA. Например: в Москве B2B клиенты довольны больше B2C, а в Екатеринбурге — наоборот. Это паттерн взаимодействия, и двухфакторный ANOVA его выявляет.

Пост-хок тесты: кто именно отличается

Значимый ANOVA отвечает только на вопрос "есть ли различия среди этих групп?". Он не говорит, какие именно группы между собой отличаются. Для этого нужны пост-хок тесты (post-hoc tests) — попарные сравнения с поправкой на множественность.

Наиболее распространённые:

• Tukey HSD — стандартный выбор при равных размерах групп и равных дисперсиях. Контролирует уровень ошибки по всем парам сравнений.
• Bonferroni — консервативный метод, делит пороговый уровень значимости на число сравнений. Прост в расчёте, но менее мощный.
• Games-Howell — используется при неравных дисперсиях или неравных размерах групп.

Типичная последовательность: ANOVA показал p = 0.012 (значимо) → пост-хок Tukey → выявлено, что Москва значимо отличается от Петербурга (p = 0.009), но Москва и Екатеринбург, Петербург и Екатеринбург не отличаются (p > 0.05).

Пример: ANOVA для сравнения оценок по четырём каналам поддержки

Компания оценивает качество поддержки через четыре канала: чат, телефон, email и самообслуживание. 40 клиентов оценили каждый канал по шкале 1-10.

• Чат: среднее 8.1, SD 1.3
• Телефон: среднее 7.4, SD 1.8
• Email: среднее 6.8, SD 2.1
• Самообслуживание: среднее 7.0, SD 1.9

Однофакторный ANOVA: F(3, 156) = 4.07, p = 0.008. Результат значимый — среди каналов есть различия.

Пост-хок Tukey:

• Чат vs Email: p = 0.008 ✓ значимо
• Чат vs Самообслуживание: p = 0.035 ✓ значимо
• Чат vs Телефон: p = 0.31 — незначимо
• Остальные пары: p > 0.05 — незначимо

Вывод: чат значимо лучше email и самообслуживания, но не лучше телефона статистически. Остальные каналы между собой не отличаются. Это конкретный, операциональный вывод для принятия решений — куда направить инвестиции в улучшение поддержки.

Допущения ANOVA

ANOVA корректно работает при соблюдении условий, схожих с t-тестом:

Нормальность распределения в каждой группе. При n > 30 в группе нарушение нормальности не критично. В малых группах нормальность проверяют критерием Шапиро–Уилка.

Однородность дисперсий (гомоскедастичность). Разброс данных должен быть примерно одинаковым во всех группах. Проверяется тестом Левена. При нарушении — использовать Welch ANOVA, не требующий однородности дисперсий.

Независимость наблюдений. Каждый участник в одной группе, ответы независимы друг от друга. Если один человек отвечает в нескольких условиях — нужен повторных измерений ANOVA (Repeated Measures ANOVA).

Типичные ошибки при использовании ANOVA

Не проводить пост-хок тесты после значимого ANOVA. Значимый F говорит "что-то есть", но не "что именно". Без пост-хок тестов вывод неполный. Иногда оказывается, что значимость создаёт одна пара из шести, а остальные пять — в норме.

Какую разницу между группами можно заметить

Путать статистическую и практическую значимость. При большой выборке ANOVA обнаружит разницу в 0.2 балла между группами. Это может быть статистически значимо и практически бессмысленно. Всегда считайте размер эффекта (eta-squared или omega-squared для ANOVA).

Применять однофакторный ANOVA, когда нужен двухфакторный. Если у вас два фактора и вы игнорируете один — теряете информацию о взаимодействии. Взаимодействие может быть самым интересным находкой в данных.

Игнорировать нарушение независимости. Если одни и те же респонденты оценивают несколько условий (например, три варианта дизайна), стандартный ANOVA некорректен. Нужен Repeated Measures ANOVA — иначе результаты будут смещены.

ANOVA в анализе опросных данных

В исследованиях на основе опросов ANOVA применяется для сравнения оценок между несколькими демографическими группами (возрастные когорты, регионы, должности), анализа результатов многовариантного тестирования с тремя и более вариантами, сравнения показателей удовлетворённости по продуктовым линейкам или каналам.

Двухфакторный ANOVA особенно полезен, когда нужно понять взаимодействие двух переменных — например, влияет ли тип устройства (мобильный vs десктоп) и тип пользователя (новый vs опытный) на оценку UX одновременно. Рассчитать p-value для F-статистики можно через калькулятор p-value WebAsk.

ANOVA — правильный инструмент, когда нужно сравнить три и более группы. Значимый результат говорит "различия есть", пост-хок тесты говорят "вот конкретно между кем". Размер эффекта (eta-squared) переводит статистику в практический смысл.

Частые вопросы

Чем ANOVA отличается от нескольких t-тестов?

T-тест сравнивает только две группы. Несколько t-тестов для трёх и более групп накапливают вероятность ложноположительного результата: при трёх попарных сравнениях риск хотя бы одной случайной значимости вырастает с 5% до ~14%. ANOVA проверяет все группы в одном тесте, удерживая общую ошибку на уровне 5%.

Что делать после значимого ANOVA?

Провести пост-хок тест — попарные сравнения с поправкой на множественность. Стандартный выбор: Tukey HSD при равных группах и равных дисперсиях. Games-Howell при неравных дисперсиях. Пост-хок тест покажет, какие конкретно пары групп отличаются между собой.

Когда использовать Repeated Measures ANOVA?

Когда одни и те же участники измеряются в нескольких условиях или в разные моменты времени. Например: те же сотрудники оценили удовлетворённость до, сразу после и через месяц после изменений. Стандартный ANOVA в этом случае некорректен, потому что наблюдения зависимы.

Что такое eta-squared и зачем он нужен?

Eta-squared (η²) — мера размера эффекта для ANOVA: доля общей вариабельности данных, объяснённая фактором. Значения: 0.01 — малый эффект, 0.06 — средний, 0.14 и выше — большой. Нужен, чтобы понять практическую значимость результата: ANOVA может быть значимым, но объяснять лишь 2% вариабельности — что практически неважно.

Что делать, если данные нарушают допущения ANOVA?

При нарушении нормальности с малой выборкой нужен непараметрический аналог: тест Краскела–Уоллиса (замена однофакторного ANOVA). При неравных дисперсиях — Welch ANOVA. При зависимых наблюдениях — Repeated Measures ANOVA или тест Фридмана (непараметрический). Нарушение нормальности при n > 30 в каждой группе некритично — ANOVA устойчив благодаря центральной предельной теореме.