Уровень значимости

Доля сотрудников, которым хватает информации, выросла с 48% до 56%, p = 0,024. При пороге 0,05 рост значимый, при пороге 0,01 нет, а выбирать порог положено до того, как увидели цифру.

Что такое уровень значимости

Уровень значимости обозначают буквой α и записывают в план до сбора данных: чаще всего это 0,05, для строгих выводов 0,01.

Через α задают, как часто можно поднимать ложную тревогу, поэтому α совпадает с вероятностью ошибки первого рода. В отчётах его ещё называют критическим уровнем значимости: именно с ним сравнивают p.

В русских учебниках рядом стоят два похожих термина. Уровень значимости выбирают заранее, а достигаемый уровень значимости считают по данным: так называют p-value, наименьший уровень значимости, при котором нулевая гипотеза ещё отвергается.

Чем уровень значимости отличается от p-value

Хи-квадрат по данным опроса

Порог выбирают до данных, p получают после. Сначала решают, какой риск ложной тревоги допустим, потом собирают ответы, проводят тест и сравнивают: если p не больше α, разницу объявляют статистически значимой.

На картинке шесть утверждений из опроса сотрудников, две волны по 400 анкет. При α = 0,10 значимых разниц пять, при 0,05 четыре, при 0,01 две. «Хватает информации» с p = 0,024 проходит обычный порог и не проходит строгий, а «Условия труда» с p = 0,067 проходят только мягкий.

Отсюда правило: порог фиксируют до опроса. Если сначала увидеть p = 0,067, а потом решить, что для пилота хватит и 0,10, порог уже ничего не защищает. Чего p не говорит, так это вероятности, что разница настоящая: разбор в карточке про p-value.

Какой уровень значимости выбрать

Число 0,05 пошло от Рональда Фишера. В книге 1925 года он назвал удобной границей точку, где P = 0,05, или «1 из 20»: это 1,96, почти два стандартных отклонения. Стандартом 0,05 стало по привычке, хотя порог разумнее подбирать под цену ошибки.

• 0,05. Обычный выбор, когда ложная находка обойдётся недорого: переписать письмо, переставить вопросы анкеты.
• 0,01. По результату будут тратить деньги или менять процессы, и ложная тревога дорога.
• 0,10. Пилот и разведка на малых выборках, если находку потом проверят на новых данных.
• 0,005. Такой порог для заявлений о новых открытиях предложили 72 исследователя в Nature Human Behaviour в 2018 году.

Строгий порог не бесплатный. Чтобы с мощностью 80% заметить рост доли с 50% до 58%, при α = 0,05 нужно 606 анкет в каждой группе, при 0,01 уже 902, почти в полтора раза больше.

Размер выборки и доверительный интервал

Цифры совпадают с калькулятором минимальной выборки WebAsk. Как α спорит с мощностью при той же выборке, разобрано в карточке про ошибки I и II рода, а какую разницу вообще можно заметить, в карточке про MDE.

Односторонний или двусторонний критерий

В двустороннем критерии α делится поровну между хвостами: при α = 0,05 это по 2,5% слева и справа, граница z = ±1,96. В одностороннем весь α лежит в одном хвосте, граница 1,645, и пройти её легче.

Два филиала по 450 анкет, довольны 54% и 60%, z = 1,82. Двусторонний тест даёт p = 0,069, и разница не значима. Односторонний даёт p = 0,035, и та же разница вдруг значима.

Односторонний критерий честен, только если направление объявили до опроса и обратный исход вам безразличен. Выбрать сторону, глядя на результат, значит незаметно удвоить α: из 0,05 получается 0,10.

Критическое значение: как α превращается в порог

Критическое значение это граница статистики теста, за которую попадает ровно доля α результатов, если разницы нет. У z-теста она не зависит от выборки: 1,645, 1,96 и 2,576 для двустороннего α = 0,10, 0,05 и 0,01. У t-теста и хи-квадрата граница сдвигается с числом степеней свободы, поэтому её берут из таблицы.

Степени свободы	α = 0,10	α = 0,05	α = 0,01
1	6,314	12,706	63,657
2	2,920	4,303	9,925
3	2,353	3,182	5,841
5	2,015	2,571	4,032
10	1,812	2,228	3,169
20	1,725	2,086	2,845
30	1,697	2,042	2,750
60	1,671	2,000	2,660
120	1,658	1,980	2,617
∞ (z)	1,645	1,960	2,576

Выше критические значения t для двустороннего критерия. Ниже то же для хи-квадрата, где значимой считают статистику больше границы:

Степени свободы	α = 0,10	α = 0,05	α = 0,01
1	2,706	3,841	6,635
2	4,605	5,991	9,210
3	6,251	7,815	11,345
4	7,779	9,488	13,277
5	9,236	11,070	15,086
6	10,645	12,592	16,812

Любое значение для своих степеней свободы Excel посчитает сам:

1. z. Граница для двустороннего α = 0,05: =НОРМ.СТ.ОБР(0,975), получится 1,96.
2. t. Двусторонний α = 0,05 при 20 степенях свободы: =СТЬЮДЕНТ.ОБР.2Х(0,05;20), это 2,086.
3. Хи-квадрат. α = 0,05 при 3 степенях свободы: =ХИ2.ОБР.ПХ(0,05;3), это 7,815.

Вывод по критическому значению и по p всегда один и тот же: статистика за границей ровно тогда, когда p меньше α. Таблица нужна, если программа выдала только статистику, а p не посчитала.

Уровень значимости при множественных сравнениях

α держит риск ложной тревоги для одного теста. Если провести 20 сравнений при α = 0,05, а настоящей разницы нет нигде, шанс найти хотя бы одну «значимую» для независимых сравнений составит 64%, это 1 − 0,95 в двадцатой степени. Поправка Бонферрони делит α на число сравнений: 0,05 / 20 = 0,0025, и общий риск снова не больше 5%. Симуляции на опросах разобраны в карточке про поправку Бонферрони.

Частые ошибки

• Порог после данных. Увидели p = 0,07 и решили, что для пилота хватит 0,10.
• Сторона теста по результату. Односторонний критерий выбрали, потому что разница вышла в нужную сторону.
• «Почти значимо». При α = 0,05 результат с p = 0,049 значим, а с p = 0,051 нет, хотя данные почти одинаковые. Поэтому рядом с вердиктом показывают ещё размер эффекта и интервал.
• Один α на сотню сравнений. Без поправки ложные находки почти гарантированы.
• Значимо значит важно. На десятках тысяч анкет значимой станет даже разница в один пункт, а нужна ли она бизнесу, решает размер эффекта.

Как это сделано в WebAsk

Ответы опроса выгружаются в CSV, и их можно загрузить в автопоиск различий: числовые колонки станут метриками, колонка с категориями сегментом. Перед запуском выбирают α (0,05, 0,01 или 0,10) и при желании поправку Бонферрони. Инструмент прогонит t-тест Уэлча для всех пар сегментов и отсортирует находки по размеру эффекта, d Коэна стоит рядом с p. Объём групп под выбранный α подскажет калькулятор минимальной выборки.

Коротко

• Уровень значимости α это допустимая доля ложных тревог, её выбирают до опроса.
• p считают по данным и сравнивают с α: p не больше α значит разница значима.
• 0,05 это привычка со времён Фишера; 0,01 для дорогих решений, 0,10 для пилотов.
• Строгий порог требует больше анкет: 902 вместо 606 в примере.
• Сторону теста и поправку на число сравнений тоже выбирают заранее.

Вопросы и ответы

Что такое уровень значимости простыми словами?

Это порог риска: какую долю ложных тревог вы готовы терпеть. При α = 0,05 в среднем один тест из двадцати там, где разницы нет, всё равно покажет «значимый» результат.

Чем уровень значимости отличается от p-value?

Уровень значимости выбирают до опроса, а p-value считают по собранным данным. Разница значима, если p не больше α.

Почему уровень значимости обычно 0,05?

Так предложил Рональд Фишер в 1925 году: граница «1 из 20» лежит примерно в двух стандартных отклонениях. Это договорённость: порог можно ужесточить до 0,01 или ослабить до 0,10.

Как найти критическое значение?

По таблице или в Excel. Для двустороннего t-теста формула =СТЬЮДЕНТ.ОБР.2Х(α;степени свободы), для хи-квадрата =ХИ2.ОБР.ПХ(α;степени свободы), для z-теста =НОРМ.СТ.ОБР(1 − α/2).

Когда брать уровень значимости 0,01?

Когда ложная находка дорого обойдётся: по результату будут менять процессы или тратить бюджет. Учтите, что анкет понадобится больше, в примере из статьи 902 вместо 606 в группе.

Что делать, если p = 0,051?

При α = 0,05 разница не значима, и менять порог задним числом нельзя. Посмотрите на размер эффекта и интервал, а если вопрос важен, соберите больше данных и проверьте снова.

Можно ли выбрать односторонний критерий?

Да, если направление объявили до сбора данных и обратный исход вам не интересен. Выбор стороны по результату удваивает α.