Разница или случайность: какое различие между группами вы сможете заметить

Два отдела ответили на один вопрос: в первом 62% согласных, во втором 71%. Разница в девять пунктов выглядит убедительно, и по ней уже собираются принимать решение.

Вопрос, который стоит задать до решения: сколько человек ответило? Если по тридцать в каждом отделе, то девять пунктов это шум, и при повторном замере отделы легко поменяются местами. Если по четыреста, разница настоящая.

У этого есть название: минимально заметная разница, или MDE. Это то наименьшее различие, которое ваша выборка вообще способна отличить от случайности. Всё, что меньше, вы не увидите, даже если оно есть, а всё, что показалось, окажется колебанием. Ниже разберём, как эта величина считается, почему она всегда больше, чем кажется, и что делать, когда нужного числа людей нет.

Сколько людей и какую разницу видно

Величина зависит от размера групп. Вот сколько нужно, чтобы различие перестало быть шумом, для долей около половины и при обычных требованиях к надёжности.

Человек в каждой группе	Минимально заметная разница	Погрешность одной оценки
20	44 пункта	±22 пункта
30	36 пунктов	±18 пунктов
50	28 пунктов	±14 пунктов
100	20 пунктов	±10 пунктов
200	14 пунктов	±7 пунктов
400	10 пунктов	±5 пунктов
1000	6 пунктов	±3 пункта

Посмотрите на строку со ста людьми. При сотне ответов в каждой группе вы способны заметить разницу от двадцати пунктов и выше. Это очень много: 40% против 60%. Всё, что между, для вас неразличимо.

А теперь вернёмся к нашему примеру. Тридцать человек в отделе дают порог в 36 пунктов. Разница в девять пунктов на таких группах не значит ничего, и решение по ней принимать нельзя.

Правило, которое стоит запомнить

В таблице есть закономерность, и она объясняет, почему люди так часто обманываются. Сравните два последних столбца: минимально заметная разница ровно вдвое больше погрешности одной оценки.

Отсюда и берётся ошибка. Человек знает, что при сотне ответов погрешность около десяти пунктов, видит разницу в двенадцать и считает её надёжной. Но десять пунктов это точность одной цифры, а при сравнении двух цифр неопределённость складывается, и порог удваивается до двадцати.

Практическое правило: возьмите погрешность вашей выборки и удвойте её. Это и есть минимальная разница, о которой имеет смысл говорить. Как считается сама погрешность, разобрано в материале про размер выборки и доверительный интервал.

Графики для результатов опроса

Обратный вопрос: сколько нужно людей

Чаще задача ставится наоборот. Вы знаете, какая разница вам важна, и хотите понять, хватит ли аудитории.

Чтобы уверенно увидеть разницу в 30 пунктов, хватит 44 человек в каждой группе. Для 20 пунктов нужно уже около 100. Для 10 пунктов около 400. А чтобы поймать разницу в 5 пунктов, понадобится примерно 1570 человек в каждой группе.

Обратите внимание, как быстро растут требования: разница вдвое меньше стоит вчетверо больше людей. Именно поэтому небольшие сдвиги в опросах ловят не увеличением выборки, а другими способами, о которых ниже.

Посчитать под свои числа можно в калькуляторе размера выборки, а проверить уже собранные данные на значимость разницы в калькуляторе значимости.

Сравнивать десять отделов сразу нельзя

Отдельная ловушка, в которую попадают почти все, кто делает опрос вовлечённости и потом строит таблицу по отделам.

Когда вы сравниваете две группы, вы допускаете небольшой риск ошибиться: примерно в пяти случаях из ста разница покажется настоящей, хотя её нет. Пока сравнение одно, риск невелик. Но сравнений в таблице по отделам не одно.

Три отдела дают три пары сравнений, и вероятность найти хотя бы одно ложное различие уже около 14%. Пять отделов дают десять пар и 40%. Восемь отделов дают двадцать восемь пар и 76%. А десять отделов дают сорок пять пар, и вероятность того, что хотя бы одна «разница» в вашей таблице выдумана, доходит до 90%.

То есть если вы сравнили все отделы между собой и нашли, что один выделяется, это почти наверняка произошло бы и на случайных числах. Что с этим делать:

• Не сравнивайте все со всеми. Сравнивайте каждый отдел с общим средним по компании, а не с каждым другим отделом
• Заранее назовите гипотезу. Если до опроса вы предполагали проблему в конкретном отделе, это одно сравнение, а не сорок пять
• Смотрите на размер разницы, а не на её наличие. Отдел, отставший на три пункта, и отдел, отставший на двадцать пять, это разные новости

Разбор одного отчёта по отделам

Компания на 180 человек провела опрос вовлечённости, ответили 120. HR построил таблицу по шести отделам и увидел ровную картину: сверху продажи, снизу логистика.

Отдел	Ответили	Доля согласных
Продажи	34	74%
Поддержка	28	71%
Маркетинг	22	68%
Разработка	16	63%
Финансы	12	58%
Логистика	8	50%

Выглядит как готовый вывод: в логистике проблема, надо идти разбираться. Проверим порогами.

Продажи против поддержки: разница 3 пункта, порог для групп в 34 и 28 человек равен 36 пунктам. Шум.

Продажи против логистики, то есть самые крайние строки таблицы: разница 24 пункта, а порог для групп в 34 и 8 человек равен 55 пунктам. Тоже шум, причём с большим запасом.

Получается, что ни одна пара в этой таблице не различается. Ровный градиент сверху вниз, который так убедительно выглядит, целиком помещается внутрь случайных колебаний. И это ещё до того, как мы вспомним про множественные сравнения: шесть отделов дают пятнадцать пар, а значит вероятность найти хотя бы одно ложное различие здесь около 54%.

Что в этих данных всё-таки есть. Общая цифра по компании: 68% при 120 ответах, погрешность около ±9 пунктов. То есть настоящий диапазон где-то от 59 до 77. Одно это число и есть весь надёжный результат опроса, а таблица по отделам при таких группах не отчёт, а иллюзия детализации.

Правильное действие тут не «идти в логистику», а честно написать в отчёте: разрез по отделам при нынешнем числе ответов недостоверен, вот общая цифра, вот открытые ответы по отделам, вот что мы сделаем в следующей волне, чтобы разрез стал возможен.

Что делать, когда людей мало

Обычная ситуация: в компании сто человек, в отделе восемь, а сравнить хочется. Увеличить выборку неоткуда. Вот что работает вместо этого.

Укрупните группы. Вместо восьми отделов сравните два направления или две функции. Меньше групп, больше людей в каждой, и сравнений тоже меньше.

Объедините волны. Если вопрос повторяется от замера к замеру и ситуация между ними не менялась, данные двух волн можно сложить. Это не всегда допустимо, но часто выручает.

Читайте открытые ответы. На малой группе они информативнее любых процентов. Восемь человек дадут восемь текстов, и в них будет видно, что происходит, а не «62 против 71».

Смотрите на динамику одной группы, а не на сравнение групп. Изменение внутри одного отдела от волны к волне часто заметнее и надёжнее, чем разовое сравнение двух отделов.

Не сравнивайте вовсе. Совершенно нормальный исход. Показать восемь ответов как восемь ответов честнее, чем превратить их в проценты и построить на них решение. Показывать долю от группы меньше пяти человек нельзя ещё и из соображений анонимности, про это есть отдельный разбор про анонимный опрос сотрудников.

Что ещё влияет на порог

Таблица выше построена для самого тяжёлого случая: доли около половины и равные по размеру группы. В других условиях порог сдвигается.

Крайние доли ловятся легче. Если ответы группируются около 10% или 90%, разброс меньше, и заметить различие получится на меньшей выборке. Хуже всего именно середина шкалы.

Неравные группы тянет меньшая. Сравнение отдела из 200 человек с отделом из 12 упирается в эти 12. Увеличение большой группы почти ничего не даёт.

Средний балл ведёт себя иначе, чем доля. Для средних порог зависит от разброса ответов: чем они однороднее, тем меньшую разницу видно. Поэтому для шкал полезнее сравнивать не средние, а долю согласных, она устойчивее и не зависит от того, ставят ли люди в вашей аудитории единицы или начинают шкалу с троек. Побочная выгода: доля понятнее руководству, потому что «68% согласны» читается сразу, а «3,7 из 5» требует пояснения, много это или мало.

Опрос вовлечённости сотрудников

Не путайте отклик с точностью. Из тысячи разосланных анкет вернулось шестьдесят. Считать надо от шестидесяти, а не от тысячи: точность даёт число ответивших, а не число приглашённых.

Как показывать различия в отчёте

Даже когда разница настоящая, её можно подать так, что читатель сделает неверный вывод. Несколько правил оформления.

Ставьте n рядом с каждой цифрой. «Логистика 50% (n = 8)» и «Логистика 50%» это два разных сообщения. Первое читатель взвесит сам, второе примет на веру.

Показывайте диапазон, а не точку. Вместо «68%» пишите «68%, от 59 до 77». Это сразу снимает половину неправильных выводов, потому что видно, насколько цифра подвижна.

Не раскрашивайте таблицу градиентом. Заливка от зелёного к красному превращает случайные колебания в убедительную картину. Если различия не проходят порог, все ячейки должны выглядеть одинаково.

Пишите словами, что сравнивать нельзя. Одна строчка «различия между отделами при таком числе ответов недостоверны» экономит месяцы неправильных решений. Молчание тут читается как согласие с тем, что таблица про реальные различия.

Про то, какие визуализации подходят под какие данные, есть отдельный разбор про графики для результатов опроса.

Частые ошибки

Разница в отчёте без числа ответов. «Отдел А: 71%, отдел Б: 62%» без указания, от скольких человек, это не результат, а картинка. Рядом с каждым процентом ставится n.

Стрелочки динамики на шуме. Зелёная стрелка вверх при изменении с 68 на 71 на выборке в сорок человек создаёт ощущение улучшения, которого нет.

Погоня за общей выборкой вместо групповой. Тысяча ответов по компании не помогает, если сравнивать вы собираетесь отделы по двадцать человек. Планируется размер той группы, в разрезе которой вы будете смотреть.

Вывод по срезу, который вы нашли уже в данных. Если гипотеза родилась после того, как вы полистали отчёт и заметили что-то любопытное, это находка, а не доказательство. Её проверяют следующей волной.

Как сказать руководству, что разницы не видно

Самая трудная часть тут не расчёт, а разговор. Руководитель ждал сравнения отделов, а вы приносите «различий не обнаружено». Это звучит как «мы зря потратили деньги», хотя означает противоположное.

Не начинайте с отрицания. Начните с того, что есть: общая цифра с диапазоном, самые частые темы из открытых ответов, что изменилось с прошлого замера. Отсутствие различий между отделами это одна строчка внутри отчёта, а не весь отчёт.

Переведите порог в понятную величину. Фраза «при восьми ответах мы увидели бы только разницу от 55 пунктов» работает лучше любых рассуждений про значимость. Она показывает не то, что данные плохие, а то, какой вопрос они физически могут решить.

Предложите, что делать дальше. Объединить отделы в направления и сравнивать их. Или поднять отклик в следующей волне. Или задать по проблемной теме отдельный короткий опрос только тем, кого он касается. Отчёт с планом принимается совсем иначе, чем отчёт с отказом.

Назовите цену ошибки. Решение, принятое по случайной разнице, стоит дороже, чем ещё одна волна опроса: людей переставляют, программы запускают, а причина была в шуме. Этот аргумент понимают быстрее остальных.

Чек-лист перед сравнением

• Известно число ответов в каждой сравниваемой группе, а не только общее
• Посчитана минимально заметная разница для наименьшей из групп
• Наблюдаемая разница больше этого порога, а не просто «выглядит большой»
• Сравнений немного, и они назначены до просмотра данных
• Отделы сравниваются с общим средним, а не все со всеми
• Рядом с каждым процентом в отчёте указано n
• Срезы меньше пяти ответов не показываются вообще
• Если разницу поймать нельзя, в отчёте написано именно это, а не выдуманный вывод

Частые вопросы

Что такое MDE простыми словами?

Это наименьшая разница между группами, которую ваша выборка способна отличить от случайного колебания. Всё, что меньше этого порога, вы не увидите, даже если различие существует, а всё, что покажется, будет шумом.

Как быстро прикинуть порог, не считая формул?

Возьмите погрешность вашей выборки и удвойте её. При сотне ответов в группе погрешность около 10 пунктов, значит разницу меньше 20 пунктов между двумя такими группами обсуждать нет смысла.

Сколько людей нужно, чтобы увидеть разницу в 10 процентных пунктов?

Около 400 в каждой группе при долях в районе половины. Для разницы в 5 пунктов понадобится уже примерно 1570 в каждой группе: уменьшение разницы вдвое требует вчетверо большей выборки.

Почему нельзя сравнивать все отделы между собой?

Потому что с ростом числа сравнений растёт шанс наткнуться на случайное различие. При десяти отделах получается сорок пять пар, и вероятность найти хотя бы одну ложную разницу доходит до 90%. Сравнивайте отделы с общим средним по компании.

Что делать, если в группе всего восемь человек?

Не превращать их ответы в проценты. Читайте открытые ответы, укрупняйте группы или смотрите динамику одной группы во времени. Срез меньше пяти ответов не показывают ещё и из соображений анонимности.

Считать от числа приглашённых или от числа ответивших?

От числа ответивших. Точность даёт только тот, кто ответил: из тысячи приглашений и шестидесяти ответов рабочая выборка равна шестидесяти.