P-значение простыми словами

P-значение, или p-value, это одно из самых важных и одновременно самых неправильно понимаемых чисел в статистике

Оно появляется в отчётах A/B-тестов и опросов и отвечает на конкретный вопрос: насколько наблюдаемые данные необычны для мира, в котором никакого эффекта нет. Разберём простыми словами, что такое p-value, как его правильно читать и какие ошибки в его трактовке встречаются чаще всего.

Что такое p-value

P-значение это вероятность получить результат столь же экстремальный или более экстремальный, чем наблюдаемый в эксперименте, при условии что верна нулевая гипотеза. Нулевая гипотеза (её обозначают H0) это предположение, что реального эффекта нет: две версии страницы конвертят одинаково, средние в двух группах равны, связи между ответами не существует.

Важно, от какой точки ведётся отсчёт. P-value считают в мире, где эффекта нет, и показывают, насколько ваши данные в этот мир вписываются. Маленькое p означает, что такие данные для мира без эффекта редкость, поэтому предположение об отсутствии эффекта выглядит натянутым. Большое p означает, что подобный результат легко получить и без всякого эффекта, просто из-за случайного разброса.

Само по себе p-value это число от 0 до 1, а не готовый вывод. Вывод о том, значим результат или нет, делают, сравнивая p с заранее выбранным порогом. Как устроена вся процедура целиком, разобрано в карточке про проверку гипотез, а как назвать итоговый вывод, в карточке про статистическую значимость.

Как читать p-value

Правило простое. Заранее, ещё до сбора данных, выбирают порог значимости (его обозначают греческой буквой альфа), чаще всего 0,05. Дальше сравнивают с ним полученное число.

• p меньше 0,05. Наблюдаемые данные плохо согласуются с предположением об отсутствии эффекта, поэтому нулевую гипотезу отвергают, а результат называют статистически значимым.
• p больше или равно 0,05. Данных не хватило, чтобы отвергнуть нулевую гипотезу. Это не то же самое, что доказать отсутствие эффекта: возможно, он есть, просто выборка мала.

Порог 0,05 это удобная договорённость, а не закон природы. Её ввёл статистик Рональд Фишер в 1920-х как ориентир. В зависимости от цены ошибки берут и более строгие пороги: в медицине 0,01, а в физике элементарных частиц требуют p около 0,0000003. Значение 0,05 значит лишь, что мы согласны примерно в 5% случаев ошибочно объявить эффект там, где его нет.

Ещё один важный момент это сторона теста. Двусторонний тест, который берут по умолчанию, проверяет, что вариант B просто отличается от A в любую сторону. Односторонний проверяет только одно направление, например что B именно лучше A. Сторону нужно выбирать до того, как вы увидели данные, иначе p искусственно занижается.

Чего p-value не показывает

Почти все ошибки с p-value устроены одинаково: числу приписывают смысл, которого в нём нет. Вот самые частые.

• Это не вероятность того, что гипотеза верна. p = 0,03 не значит, что нулевая гипотеза верна с вероятностью 3%. p считается в предположении, что она верна, поэтому измеряет необычность данных, а не правдоподобие самой гипотезы. Вероятность гипотезы дают только байесовские методы.
• Это не вероятность случайности. Нельзя сказать, что эффект случаен с вероятностью 3% или реален с вероятностью 97%. p не делит мир на случайность и реальность, он вычислен в предположении, что эффекта нет.
• Маленькое p не значит большой эффект. p ничего не говорит о величине разницы. Насколько эффект велик и важен, показывают размер эффекта и доверительный интервал, которые стоит приводить рядом с p.
• Большое p не доказывает отсутствие эффекта. p больше 0,05 означает только нехватку данных, а не то, что A и B одинаковы. Отсутствие доказательства это не доказательство отсутствия.
• p не про воспроизводимость. Число не говорит, что при повторе эксперимента результат повторится в 95% случаев. При повторе p будет другим, иногда заметно.

Как размер выборки влияет на p-value

p зависит не только от силы эффекта, но и от объёма данных. Чем больше выборка, тем меньше стандартная ошибка и тем легче получить маленький p для одного и того же эффекта. На миллионе показов статистически значимой окажется разница конверсий 10,0% против 10,1%, которая бизнесу совершенно не интересна. И наоборот, реальный, но небольшой эффект на маленькой выборке легко даёт p выше 0,05 просто из-за нехватки данных.

Отсюда практический вывод: объём выборки нужно планировать заранее, отталкиваясь от минимально значимого эффекта (MDE) и нужного размера выборки, а не добирать наблюдения, пока p случайно не опустится ниже порога. Прикинуть объём помогает калькулятор размера выборки.

p-hacking: как обмануть самого себя

Раз p зависит от того, сколько и как мы проверяем, его легко подогнать под желаемый результат, часто даже неосознанно. Если при пороге 0,05 проверить двадцать независимых гипотез, вероятность получить хотя бы один ложный значимый результат при полном отсутствии эффектов доходит до 64%. Перебор десятков метрик и сегментов, отбрасывание неудобных наблюдений и остановка A/B-теста в ту секунду, когда p впервые нырнул под 0,05, называют p-hacking. Всё это резко завышает долю ложных находок.

Защита проста по идее, но требует дисциплины: заранее зафиксировать главную гипотезу и метрику, заранее рассчитать размер выборки и не подглядывать в промежуточные результаты, а при множестве проверок применять поправки на множественность, например Бонферрони или метод Бенджамини-Хохберга. Подробнее про сам сценарий сравнения вариантов есть карточка про A/B-тестирование.

p-value, значимость и проверка гипотез: в чём разница

Эти три термина легко перепутать, поэтому коротко про зоны ответственности. Проверка гипотез это вся процедура: формулируем нулевую и альтернативную гипотезы, выбираем критерий, считаем статистику. P-value это конкретное число, которое получается в этой процедуре. А статистическая значимость это итоговый вывод «да или нет», который делают, сравнив p с порогом. Проще говоря, значимость это метка, а p-value число за этой меткой.

Само p-value выдают разные статистические критерии в зависимости от данных: t-тест при сравнении средних двух групп, z-тест для долей и больших выборок, ANOVA при сравнении трёх и более групп, а также проверка значимости коэффициента в корреляционном анализе.

Как это сделано в WebAsk

Чтобы получить p-value, сначала нужны данные: ответы респондентов или результаты двух вариантов в A/B-тесте. В WebAsk они собираются обычным опросом, а ответы выгружаются в Excel или CSV. Дальше числа подставляют в готовые калькуляторы: калькулятор p-value для общего случая, калькулятор значимости A/B-теста для сравнения двух вариантов, t-тест для средних и хи-квадрат для таблиц с категориальными ответами.

Чтобы вывод был осмысленным, полезно заранее посчитать размер выборки и дополнить p доверительным интервалом и размером эффекта. О том, как объём выборки влияет на надёжность выводов, есть разбор про размер выборки и доверительный интервал.

Собрать данные для такого анализа можно бесплатно: загляните в конструктор опросов WebAsk, соберите нужные вопросы или два варианта для теста и проверьте, значима ли разница на самом деле.

Частые вопросы

Что такое p-value простыми словами?

Это вероятность получить такие же или ещё более выраженные различия в данных, если на самом деле никакого эффекта нет. Чем меньше p, тем хуже наблюдаемая картина согласуется с предположением, что разницы нет. По сути p отвечает на вопрос, насколько ваши данные необычны для мира, где эффекта не существует.

P-value это вероятность того, что гипотеза верна?

Нет, это самая частая ошибка. p считается при условии, что нулевая гипотеза верна, поэтому измеряет необычность данных, а не вероятность самой гипотезы. Вероятность того, что гипотеза верна, дают только байесовские методы, и она зависит ещё и от исходных предположений.

Почему порогом обычно берут 0,05?

Это историческая договорённость со времён Фишера, а не закон природы. Порог 0,05 означает, что мы согласны примерно в 5% случаев ошибочно объявить эффект там, где его нет. В зависимости от цены ошибки берут и более строгие значения, например 0,01 в медицине и ещё жёстче в физике.

Что означают p = 0,03 и p = 0,20?

При p = 0,03 такие или более сильные различия возникли бы примерно в 3% выборок, если бы эффекта не было, поэтому при пороге 0,05 результат считают значимым. При p = 0,20 различия легко объясняются случайностью, и отвергать нулевую гипотезу оснований нет. Но p = 0,20 не доказывает, что эффекта нет, возможно, просто не хватило данных.

Маленькое p-value значит, что эффект большой и важный?

Нет. p показывает, насколько уверенно можно отвергнуть предположение об отсутствии эффекта, но не его величину. На большой выборке значимым окажется даже рост конверсии на 0,2%, не интересный бизнесу. Практическую важность показывают размер эффекта и доверительный интервал, а не сам факт, что p ниже порога.

Как размер выборки влияет на p-value?

Чем больше выборка, тем меньше p для одного и того же реального эффекта: крупная выборка замечает даже крошечные различия. На огромных данных значимым становится почти всё, а на маленьких можно упустить настоящий эффект. Поэтому объём выборки рассчитывают заранее, а не добирают наблюдения, пока p не упадёт ниже 0,05.

Что такое p-hacking?

Это подгонка анализа под желаемый результат: подглядывание в промежуточные данные и остановка теста в момент значимости, перебор множества метрик и сегментов, отбрасывание неудобных наблюдений. Всё это резко раздувает долю ложных находок. Защита в том, чтобы зафиксировать гипотезу, ключевую метрику и размер выборки до сбора данных.

Чем p-value отличается от доверительного интервала?

p это одно число и ответ о значимости относительно порога, а доверительный интервал показывает диапазон правдоподобных значений эффекта, его величину и направление. По интервалу видно и значимость, и практический масштаб, поэтому всё чаще отчитываются интервалом и размером эффекта, а не одним p.