Правило трёх сигм

Кто-то вписал в анкету возраст 250 лет, а правило трёх сигм его не заметит, если ответов всего десять. Правило честное, но с условиями, и их лучше знать до того, как удалять ответы.

Что такое правило трёх сигм

Правило трёх сигм завершает ряд 68–95–99,7: в пределах одной сигмы от среднего лежит 68,3% значений, двух 95,4%, трёх 99,7%. За пределы трёх сигм в среднем выходит одно значение из 370.

Сигмой называют стандартное отклонение, в формулах его обозначают греческой буквой σ. Если баллы за тест в среднем 70 при σ = 9, три сигмы дают границы 43 и 97, и за них выходят примерно трое участников из тысячи.

Как правило выглядит на данных

Как связаны выборка и доверительный интервал

Возьмём 200 участников теста со средним около 70 баллов и сигмой около 9. По правилу внутри ±1σ должны оказаться 68% людей, внутри ±2σ 95%, внутри ±3σ почти все. В нашей выборке вышло 137 человек (68,5%), 189 (94,5%) и все 200.

Отсюда и связь с доверительным интервалом: 95% нормальных значений лежат в пределах 1,96σ, и это число стоит в формуле 95-процентного интервала. Правило трёх сигм берёт запас пошире.

Чем дальше граница, тем реже за неё выходят. У нормального распределения доли такие:

Граница	Внутри	Снаружи
±1σ	68,27%	каждое третье
±2σ	95,45%	1 из 22
±3σ	99,73%	1 из 370
±4σ	99,994%	1 из 15 787
±5σ	99,99994%	1 из 1,7 млн

При 10 000 ответов за три сигмы выйдут около 27 совершенно обычных значений. Поэтому на большой выборке ответ за тремя сигмами ещё не обязательно ошибка.

Как найти выбросы по правилу трёх сигм в Excel

1. Посчитайте среднее. Ответы лежат в A2:A201, в D1 формула =СРЗНАЧ(A2:A201).
2. Посчитайте сигму. В D2 =СТАНДОТКЛОН.В(A2:A201), это стандартное отклонение по выборке.
3. Отметьте ответы за границами. В B2 =ABS(A2-$D$1)>3*$D$2, протяните вниз: ИСТИНА встанет у ответов дальше трёх сигм от среднего.
4. Прочитайте каждый отмеченный ответ. Опечатка это, шутка или честный редкий случай, видно только по самой анкете.

Доли нормального распределения Excel тоже считает сам: =НОРМ.СТ.РАСП(3; ИСТИНА) - НОРМ.СТ.РАСП(-3; ИСТИНА) даёт 0,9973, те самые 99,7%.

Где правило ошибается

Правило выведено для нормального распределения, а данные опросов часто на него не похожи. Нагляднее всего это видно на времени заполнения анкеты: у него длинный хвост справа.

Как найти выбросы в ответах опроса

Среднее время в примере ниже 7,2 минуты, сигма 3,3, поэтому нижняя граница выходит −2,8 минуты. Быстрее нуля анкету не заполнить, так что подозрительно быстрых правило не найдёт никогда, зато отметит одну медленную анкету на 18,7 минуты, хотя медленный респондент данным не вредит. Если посчитать то же правило по логарифму времени, нижняя граница станет 0,96 минуты и отсечёт всех шестерых, кто прокликал анкету.

Вторая беда: маленькие выборки. Среднее и сигму считают по тем же ответам, и выброс сам раздувает сигму, за которой прячется. Рональд Шифлер показал в 1988 году, что в выборке из n значений z-оценка по модулю не может превысить (n − 1) / √n. Для 10 ответов это 2,85: до трёх сигм не дотянется ни одно значение, как бы далеко оно ни стояло.

В примере на картинке десять возрастов: девять от 25 до 35 лет и один 250. Среднее выходит 52 года, сигма 69,6, и у 250 лет z всего 2,84. На маленьких выборках надёжнее смотреть на сами ответы или на ящик с усами: его границы строятся от квартилей, а их один выброс почти не сдвигает.

Третья оговорка касается гарантии. Цифру 99,7% правило обещает только нормальному распределению. Для любых данных неравенство Чебышёва гарантирует меньше: в пределах двух сигм не меньше 75% значений, в пределах трёх не меньше 89%. Время заполнения из примера ближе к нормальным долям, но обещать это заранее нельзя.

Правило трёх сигм и карта Шухарта

В контроле качества на этом правиле держится карта Шухарта: она ставит контрольные границы на трёх сигмах от средней линии. Пока процесс стабилен, за границу выходит примерно одна точка из 370, поэтому каждую такую точку разбирают. Так можно следить и за опросами: еженедельная доля довольных клиентов за трёхсигмовой границей почти наверняка отражает реальный сдвиг: случайно так бывает примерно раз в семь лет еженедельных замеров.

Частые ошибки

• Правило применяют к шкале от 1 до 5. При среднем 4,2 и сигме 0,9 верхняя граница выходит 6,9, выше самой шкалы, а нижняя 1,5. Правило отметит каждую единицу, хотя это честный ответ недовольного клиента.
• Сигму считают вместе с выбросом. Один крупный выброс увеличивает сигму так, что сам перестаёт выглядеть выбросом. Устойчивее граница от квартилей: Q3 + 1,5 × IQR, как в ящике с усами.
• Отмеченное удаляют без разбора. Значение за тремя сигмами бывает самым интересным в данных: крупный клиент, редкий сценарий. Сначала его читают, потом решают.
• Правило путают с проверкой нормальности. Если за три сигмы ничего не вышло, данные от этого нормальными не становятся. Нормальность проверяют критерием Шапиро–Уилка и смотрят на гистограмму.

Как это сделано в WebAsk

Среднее и стандартное отклонение по выгрузке ответов сразу даёт калькулятор стандартного отклонения, он умеет и выборочное, и по всей совокупности. До границ трёх сигм от них одно умножение. Сколько секунд ушло на каждую анкету, показывает раздел «Ответы», через API это поле filling_time_seconds, и быстрые анкеты удобно искать по логарифму времени в Excel. Сколько ответов останется после чистки быстрых прохождений, дублей и однотипных матриц, прикинет калькулятор чистки данных.

Коротко

• Правило 68–95–99,7 описывает нормальное распределение: одна, две и три сигмы от среднего.
• Выброс по правилу стоит дальше 3σ от среднего, в Excel его отмечает =ABS(A2-$D$1)>3*$D$2.
• Время и деньги скошены вправо: правило считают по логарифму или берут границы от квартилей.
• В выборке до 10 ответов правило молчит, потому что |z| не превышает (n − 1) / √n.
• Для любых данных в пределах трёх сигм гарантированы только 89% значений.

Вопросы и ответы

Как сформулировать правило трёх сигм?

Если величина распределена нормально, почти все её значения, 99,7%, отклоняются от среднего не больше чем на три стандартных отклонения. За эти границы попадает около 0,27% значений.

Что такое правило 68–95–99,7?

Короткая запись трёх долей нормального распределения: ±1σ от среднего вмещает около 68% значений, ±2σ около 95%, ±3σ около 99,7%. Третья граница и дала название правилу трёх сигм.

Как найти выбросы по правилу трёх сигм?

Посчитайте среднее и стандартное отклонение, затем отметьте значения, которые отстоят от среднего больше чем на три сигмы. В Excel это формула =ABS(A2-$D$1)>3*$D$2, где в D1 среднее, в D2 сигма. Каждый отмеченный ответ стоит проверить по анкете.

Почему правило трёх сигм не работает для времени заполнения анкеты?

У времени длинный хвост справа, и нижняя граница «среднее минус три сигмы» часто уходит в минус. Слишком быстрые анкеты так не поймать. Правило считают по логарифму времени или берут границы от медианы и квартилей.

Работает ли правило трёх сигм на маленькой выборке?

Почти нет. При n ответах наибольшая возможная z-оценка по модулю равна (n − 1) / √n, для 10 ответов это 2,85, так что за три сигмы не выйдет ничего. На малых выборках выбросы ищут глазами или по межквартильному размаху.

Чем правило трёх сигм отличается от неравенства Чебышёва?

Правило трёх сигм верно для нормального распределения и обещает 99,7% значений в пределах трёх сигм. Неравенство Чебышёва верно для любых данных, но гарантирует меньше: не меньше 75% в пределах двух сигм и не меньше 88,9% в пределах трёх.