Гистограмма

Средний возраст участников дня открытых дверей 31,7 года, хотя среди 200 человек нет ни одного в возрасте от 25 до 36 лет. Гистограмма объясняет это с первого взгляда: пришли абитуриенты, в среднем 19,6 года, и их родители, 46,5.

Что такое гистограмма

Гистограмма ставит столбики вплотную, потому что интервалы идут по числовой оси подряд, и по силуэту видно, где у данных пик, есть ли скос и сколько горбов.

Слово «гистограмма» придумал Карл Пирсон для своих лекций по статистике и пояснил его в сноске к статье 1895 года: частоту показывает площадь столбика над его отрезком оси. При одинаковых интервалах площадь и высота говорят одно и то же, при разных уже нет.

Чем гистограмма отличается от столбчатой диаграммы

Какой график строить под вопрос анкеты

Столбчатая диаграмма считает ответы на вопрос с вариантами, например «Откуда вы о нас узнали?». Каждый столбик стоит отдельно, порядок выбирают сами, чаще всего по убыванию. Гистограмма строится по ответам-числам: возрасту, времени заполнения анкеты, сумме покупки. Соседние столбики делят между собой одну ось без пропусков, и переставить их нельзя.

Путаницу добавляет Excel. В русском Office обычная столбчатая диаграмма называется «Гистограмма с группировкой», а настоящая гистограмма с 2016 года стоит среди статистических диаграмм под тем же словом, это видно по справке о типах диаграмм. Поэтому инструкция про «гистограмму в Excel» запросто окажется про столбики по категориям.

На шкале от 1 до 5 или от 0 до 10 различие почти стирается: у каждого балла свой столбик, и картинка одновременно гистограмма с интервалом в один балл и столбчатая диаграмма по баллам. Всерьёз разница начинается там, где значений много и их приходится группировать.

Как построить гистограмму

1. Найдите размах. Возьмите наименьший и наибольший ответ. В примере ниже 150 анкет заполнили за время от 1,9 до 18,7 минуты.
2. Выберите ширину интервала. Правило Стёрджеса для 150 ответов даёт 8–9 интервалов, то есть шаг около 2 минут. Шаг удобно взять круглым: 2 минуты, 5 лет, 1000 рублей.
3. Посчитайте ответы в каждом интервале. Заранее решите, куда относить значение ровно на границе: R по умолчанию кладёт его в левый интервал, numpy в правый.
4. Нарисуйте столбики вплотную. Высота равна числу ответов или их доле, под осью подпишите границы интервалов.

Excel начиная с версии 2016 рисует её без формул: Вставка → Вставить статистическую диаграмму → Гистограмма. Ширину интервала Excel по умолчанию подбирает по правилу Скотта, для нашей выборки это около 2 минут. В формате горизонтальной оси можно задать длину и количество интервалов, а также отдельные интервалы для значений выше и ниже выбранных границ.

Число ответов по интервалам формулой считает функция ЧАСТОТА: =ЧАСТОТА(A2:A151;C2:C10), где в C2:C10 лежат верхние границы интервалов. Она возвращает на одно число больше, чем границ: последнее показывает, сколько ответов выше верхней границы. По этим числам строят обычную столбчатую диаграмму и убирают зазор между столбиками.

В Google Таблицах тип «Гистограмма» есть в редакторе диаграмм, ширина интервала там называется размером сегмента, рядом настраивается процентиль выбросов. В R хватает hist(x), число интервалов он по умолчанию берёт по Стёрджесу. В Python matplotlib.pyplot.hist(x, bins='auto') выбирает меньшую ширину из правил Стёрджеса и Фридмана–Диакониса.

Сколько интервалов брать

Ширина интервала меняет картинку сильнее, чем кажется. Возраст тех же 200 участников при интервале 20 лет выглядит как плавный спад, при 5 годах распадается на два чётких пика, а по годам превращается в частокол.

Начинают обычно с одного из трёх правил:

• Стёрджес. Число интервалов k = 1 + 3,322 × lg n, правило из статьи 1926 года. Для 200 ответов выходит 8,6, то есть 9 интервалов около 5 лет. Рассчитано на данные, похожие на нормальные, и на больших скошенных выборках даёт слишком мало интервалов.
• Скотт. Ширина h = 3,49 × SD / ∛n, где SD стандартное отклонение. Им по умолчанию пользуется Excel.
• Фридман и Диаконис. Тот же подход, только вместо SD берут IQR: h = 2 × IQR / ∛n, где IQR межквартильный размах. Устойчиво к выбросам: одна анкета на 300 минут ширину почти не меняет.

Правила дают только отправную точку. Попробуйте две-три ширины и оставьте ту, при которой форма не разваливается от небольшого сдвига границ. Если ответы целые, ширина тоже должна быть целой: при шаге 2,5 года в одни интервалы попадает по три возможных значения возраста, в другие по два, и столбики начинают чередоваться без всякой причины.

Как читать гистограмму

Сначала смотрят на силуэт целиком, потом на отдельные столбики.

• Симметричный холм. Среднее и медиана почти совпадают, как у баллов за тест: 70,1 и 70. Так выглядит нормальное распределение, но холм бывает и у других.
• Длинный хвост справа. Так обычно распределены время и деньги. Среднее уезжает к хвосту: у анкет 7,5 минуты при медиане 6,8, и в отчёт лучше ставить медиану.
• Хвост слева. Оценки упираются в потолок шкалы: почти три четверти ставят курсу 80 баллов и выше, примерно каждый двадцатый опускается ниже 60. Среднее 82,8 оказывается ниже медианы 85.
• Два пика. В данных смешались две группы. Средний возраст 31,7 года попадает туда, где нет ни одного участника, поэтому группы описывают отдельно.
• Одинокий столбик вдали. Редкое значение вроде анкеты на 18,7 минуты. Его проверяют глазами, прежде чем выбрасывать.

Чего гистограмма не показывает

Как найти выбросы в ответах опроса

Отдельных ответов она не видит. В интервал от 6 до 8 минут могут попасть и 40 анкет на 6,1 минуты, и 40 на 7,9, а столбик выйдет одинаковый. Если исходных чисел нет, среднее по гистограмме считают как средневзвешенное середин интервалов, и оно выходит приближённым. Квартили и выбросы точнее показывает ящик с усами, а лучше всего оба графика рядом.

Не доказывает она и нормальность. Холм, похожий на колокол, на 30–50 ответах сильно зависит от случая и от выбранных границ. Нормальность проверяют критериями вроде Шапиро–Уилка.

Сравнивать по числу ответов группы разного размера тоже нельзя. При 300 ответах в одной группе и 60 в другой столбики первой будут выше просто потому, что людей больше. Высоту переводят в доли от числа ответов в группе.

Частые ошибки

• Неравные интервалы без пересчёта. Возраст в анкетах часто спрашивают готовыми группами: 18–24, 25–34, 35–44, 45–64. Последняя группа вдвое шире средних, и её столбик вырастет вдвое даже при той же плотности ответов. Число ответов делят на ширину интервала: высота тогда показывает плотность, а частоту, как и задумывал Пирсон, площадь.
• Ширина по умолчанию без проверки. Автоматический интервал может спрятать второй пик, как интервал в 20 лет на картинке выше.
• Зазоры между интервалами. Столбчатая диаграмма по результатам ЧАСТОТА с зазором по умолчанию выглядит как набор отдельных категорий, хотя это отрезки одной оси. Зазор убирают в настройках ряда данных.
• Ось не от нуля. Если вертикальная ось начинается с 20, столбик из 40 ответов выглядит вчетверо выше столбика из 25, хотя ответов в нём всего в 1,6 раза больше.

Как это сделано в WebAsk

Для ответов-чисел в WebAsk есть вопрос «Числовой ответ»: в него можно ввести только число, и он подходит для вопросов вроде «Сколько вам лет?» или «Какой у вас бюджет?». Для оценки по диапазону есть «Ползунок». Время заполнения каждой анкеты видно в разделе «Ответы», а API отдаёт его в поле filling_time_seconds. Выгрузка в XLSX, CSV или SPSS переносит ответы в Excel, Google Таблицы или R, где гистограмма и строится.

Возраст лучше спрашивать числом, без готовых групп. Из чисел потом можно собрать интервалы любой ширины и проверить, не прячется ли второй пик, а из групп 18–24 и 25–34 точный возраст уже не достать.

Коротко

• Гистограмма нужна для ответов-чисел, для вариантов ответа строят столбчатую диаграмму.
• Столбики стоят вплотную, порядок задаёт ось. В русском Excel столбчатая диаграмма тоже зовётся гистограммой.
• Ширина интервала меняет форму: начинают со Стёрджеса или Скотта и проверяют ещё одну-две ширины.
• По силуэту видно симметрию, скос и два пика, при скосе в отчёт ставят медиану.
• Группы разного размера сравнивают в долях, неравные интервалы пересчитывают в плотность.

Вопросы и ответы

Что показывает гистограмма?

Как распределены числовые ответы: где их больше всего, насколько широко они разбросаны, есть ли скос, второй пик или редкие значения далеко от остальных. Один график показывает то, что прячут среднее и стандартное отклонение.

Чем гистограмма отличается от столбчатой диаграммы?

Столбчатая диаграмма показывает категории, например варианты ответа, и её столбики стоят с зазорами в любом порядке. Гистограмма показывает интервалы числовой оси, столбики стоят вплотную и идут по порядку чисел. В русском Excel обе называются гистограммами, отсюда путаница.

Как построить гистограмму в Excel?

Выделите столбец с числами и откройте Вставка → Вставить статистическую диаграмму → Гистограмма, так это работает с Excel 2016. Ширину и число интервалов меняют в формате горизонтальной оси. В старых версиях частоты считают функцией ЧАСТОТА по верхним границам интервалов и строят по ним столбчатую диаграмму без зазоров.

Сколько интервалов брать для гистограммы?

Для начала по правилу Стёрджеса: k = 1 + 3,322 × lg n, для 100 ответов около 8, для 1000 около 11. Потом стоит попробовать ширину на шаг шире и на шаг уже и оставить ту, где пики держатся при небольшом сдвиге границ.

Что такое гистограмма частот и относительных частот?

Гистограмма частот откладывает по вертикали число ответов в каждом интервале, гистограмма относительных частот их долю. Доли удобны, когда сравнивают группы разного размера: высоты в сумме всегда дают 100%. Если интервалы разной ширины, долю ещё делят на ширину и получают гистограмму плотности.

Почему на гистограмме два пика?

Обычно в данных смешались две группы, например абитуриенты и их родители или новые и постоянные клиенты. Среднее по всем тогда попадает в провал между пиками и никого не описывает. Данные делят по группам и считают каждую отдельно.