Какой график строить под каждый тип вопроса анкеты

Обычно про графики пишут от названия диаграммы: вот круговая, вот столбчатая, вот для чего они годятся. В работе маршрут обратный: в анкете уже стоит конкретный вопрос, и надо понять, что с ним делать.

Эта статья построена именно так. Слева тип вопроса, который вы поставили в конструкторе, справа график по умолчанию и, что важнее, антивариант: привычная диаграмма, которая на этом типе вопроса искажает картину. Про сами типы вопросов и про то, чем шкала отличается от NPS, здесь не будет ничего, это разобрано в материале про виды опросов и типы вопросов. Про средние, медианы и распределения тоже, они живут в разборе описательного анализа.

Сначала знаменатель, потом график

Главный источник вранья в отчётах по опросам это не цвета и не тип диаграммы. Это проценты, посчитанные от разных знаменателей и поставленные на один экран. Вопрос из ветки видела треть выборки, соседний видели все, а подписи под обоими одинаковые: «процент респондентов».

Отсюда правило, которое дороже всех остальных: база n живёт в заголовке графика, а не в сноске под ним. Как только часть вопросов считается от подвыборки, знаменатель обязан быть виден рядом с каждой цифрой. Руководитель, который смотрит слайд десять секунд, сноску не прочитает никогда.

Второй знаменатель, о котором почти никто не пишет, живёт внутри вопросов с множественным выбором. Там можно считать процент от респондентов и процент от общего числа отметок, и это две разные картины по одним и тем же данным. Ниже про это отдельно, потому что ошибка массовая.

Таблица решений

Ниже основная таблица. Колонка «второй слой» это то, что добавляют, когда одного графика мало, а колонка «что не работает» важнее первых двух: именно там прячутся отчёты, после которых принимают неверные решения.

Логика в правой колонке одна и та же почти везде: привычная диаграмма схлопывает распределение в одну цифру или в одну форму, из которой уже нельзя восстановить, что происходило на самом деле. Дальше три случая, где это стоит дороже всего.

Множественный выбор: целого не существует

Если респондент мог отметить несколько вариантов, суммы в 100 процентов у этого вопроса нет и быть не может. Значит, любая диаграмма, которая делит целое на части, здесь запрещена: круговая, пончик, нормированная стопка. Движок построит её молча, нормировав сумму к сотне, и каждый вариант окажется занижен тем сильнее, чем больше вариантов люди отмечали.

Дальше выбор знаменателя. Процент от респондентов отвечает на вопрос «сколько людей выбрали этот вариант» и складывается в число больше 100. Процент от отметок отвечает на вопрос «какую долю всех выборов занял вариант» и складывается ровно в 100. Обе величины законны, но в отчёте для руководства почти всегда нужна первая: решения принимают про людей, а не про клики. Смешивать их в одном документе нельзя, числа расходятся в разы.

Подпись под графиком мультивыбора должна прямо говорить, что можно было выбрать несколько ответов, и называть базу. Без этой строчки читатель сложит проценты, получит 240 и решит, что в данных ошибка.

Шкалы: расходящаяся стопка и спор вокруг неё

Для шкал согласия есть приём, которого в русских материалах почти нет. Расходящаяся стопка разворачивает полосу от нейтрального центра: несогласие уходит влево, согласие вправо, и все строки выравниваются по общей нулевой границе. Heiberger и Robbins в Journal of Statistical Software рекомендуют её как основной способ показывать рейтинговые шкалы, и именно общая точка отсчёта делает строки сравнимыми между собой.

Но честнее сказать, что единого мнения тут нет. Команда Datawrapper выступает против расходящихся полос ровно по обратной причине: центрирование резервирует место под нейтральную группу и сжимает всё остальное, а чтобы сравнить две строки, читателю приходится мысленно складывать половинки. Их рекомендация это обычная нормированная стопка с вынесенной вбок нейтральной категорией.

Рабочий компромисс такой. Когда главный вопрос «где у нас проблемы», расходящаяся стопка выигрывает: провалы видны сразу, потому что красная часть уходит за общую границу. Когда главный вопрос «как распределены ответы внутри каждой строки», нормированная стопка честнее. Что точно не работает в обоих случаях, так это один средний балл по шкале: 3,5 одинаково получается из ровных троек и из смеси «полностью согласен или полностью не согласен», а действия из этих двух случаев противоположные. Про устройство самой шкалы написано в разборе шкалы Лайкерта, а посчитать распределение и долю верхних делений можно калькулятором шкалы и калькулятором top-box.

CSAT: как считать и что с ним делать

С матрицей утверждений тот же принцип, только строк много. Правильная форма это набор одинаковых полос, по одной на утверждение, с общим порядком категорий и общей осью, отсортированных по доле согласия. Тепловая карта выглядит эффектнее, но она кодирует величину цветом, а насыщенность цвета в классической иерархии восприятия Кливленда и Мак-Гилла стоит на последнем месте по точности. Радар не годится ещё сильнее: площадь фигуры зависит от того, в каком порядке вы расставили оси.

NPS и ранжирование: две метрики, которые прячут распределение

NPS это разность двух долей, и в этом вся проблема на графике. Индекс 40 собирается и как 50 минус 10, и как 60 минус 20, и это две совершенно разные компании: в первой пятая часть клиентов нейтральна, во второй нейтралов вдвое больше. Одна цифра на слайде обе ситуации делает неразличимыми.

Поэтому NPS показывают двумя картинками рядом: распределение оценок от 0 до 10 столбиками с раскраской на три группы и полоса долей промоутеров, нейтралов и критиков. Сам индекс уместен линией по волнам, где важна динамика. Пирог из трёх сегментов и спидометр не годятся: первый выдаёт разность за долю целого, второй занимает место, не добавляя различимости. Считать индекс удобно калькулятором NPS, а что именно мерить, разобрано в сравнении метрик NPS, CSAT, CES и CSI.

Индекс потребительской лояльности NPS

С ранжированием ровно та же ловушка, только менее известная. Средний ранг 3,0 получается и при общем согласии, и при полном расколе, когда половина ставит объект первым, а половина последним. Ранги вдобавок связаны: сумма мест фиксирована, объекты не независимы, поэтому арифметика над ними ведёт себя не так, как над обычными числами. Показывать надо стопку распределения мест по каждому объекту, отсортированную по доле первых мест, и отдельно эту долю крупной цифрой.

Числа и даты: где график задаёт вывод

Числовой ввод, возраст, доход, количество покупок, это единственный тип вопроса, где сам параметр построения графика меняет вывод. Гистограмма зависит от ширины корзины: одна и та же выборка при широких корзинах выглядит гладким холмом, а при узких распадается на два горба. Поэтому ширину корзины называют прямо в подписи, иначе читатель не может оценить, насколько форме распределения можно верить.

Второе правило для чисел: по скошенным величинам вроде дохода или среднего чека медиана честнее среднего. Пара крупных ответов задирает среднее так, что оно перестаёт описывать кого-либо из опрошенных. На графике это выглядит как столбик, мимо которого стоит вся масса данных. Медиану и квартили считает калькулятор медианы и перцентилей, а зачем вообще смотреть на разброс, а не только на центр, разобрано в материале про отклонения в ответах.

С датами ошибок меньше, но они дороже. Ось времени должна быть равномерной: если в опросе была пауза, она обязана выглядеть провалом, а не схлопываться в соседние точки. Даты, отсортированные как категории по величине, превращают динамику в бессмыслицу, а неполный последний период, поставленный рядом с полными, читается как обвал, которого не было. Сглаживание допустимо, но его надо помечать, иначе на графике появляется тренд, которого в данных нет.

Сегменты и пропуски

Сравнение сегментов это место, где отчёты ломаются чаще всего после мультивыбора. Два-три сегмента нормально показывать сгруппированными столбиками. Дальше они перестают читаться, и лучше работает дот-плот, где каждый сегмент это точка на общей оси. Но главное правило другое: разность долей глазами читается плохо, потому что обе величины закодированы длиной, а сама разница нигде не нарисована. Если вывод отчёта именно в разнице, её рисуют отдельным графиком, а не заставляют читателя вычитать в уме два столбика.

Сравнительный анализ: как сопоставлять группы

Нормированная стопка для сравнения сегментов не годится по той же причине, что и для матрицы без общей границы: блоки внутри разных полос не выровнены между собой, и сравнивать их длины нельзя. И отдельно про базу: в кросс-табах выборка дробится незаметно, и «67 процентов руководителей» легко оказывается тремя людьми из четырёх. Когда база меньше сотни, честнее показывать абсолютные числа. Как строить срезы, разобрано в материале про сегментирование через опросы.

Наконец, пропуски и «затрудняюсь ответить». Их молча выбрасывают чаще всего, и это меняет все проценты сразу, а при сравнении волн, где правила выбрасывания были разными, разница получается на пустом месте. Либо оставляйте отдельную категорию на том же графике, либо пишите под ним строку «нет ответа: n». Заполненность вопроса вообще стоит смотреть отдельно: резкий провал обычно значит, что формулировку не поняли или вопрос показался лишним.

Открытые ответы: облако слов это антивариант

Облако слов кажется очевидным решением и почти всегда им не является. Оно кодирует частоту размером шрифта, то есть площадью, и мешает её с длиной слова: длинное редкое слово выглядит весомее короткого частого. Частот там нет, базы нет, две волны между собой не сравнить. Как навигация по массиву текста оно ещё годится, как вывод в отчёте нет.

Работающая форма это горизонтальные столбики по закодированным темам с числом упоминаний, и обязательно с двумя базами: сколько ответов получено всего и сколько из них удалось закодировать. Рядом две-три живые цитаты, они делают для понимания больше, чем любая диаграмма. Как довести открытые ответы до состояния, когда их вообще можно считать, разобрано отдельно в материале про разбор открытых ответов.

Что портит любой график, независимо от типа вопроса

Про круговую диаграмму стоит сказать точнее, чем «она плохая». Стивен Фью в разборе «Save the Pies for Dessert» показывает, что столбчатая даёт существенно более точное сравнение величин, и называет круговую наименее эффективной из распространённых форм. Любопытно при этом, что дело не в углах: Скау и Косара в эксперименте варьировали отдельные признаки круговой и обнаружили, что угол оказался наименее значимым, читатели опираются на длину дуги и площадь. Практический вывод не меняется: на пяти и более категориях круговую заменяют столбиками.

Про обрезанную ось есть нюанс, который часто передают неточно. Исследование Коррелла с коллегами действительно показало, что обрезка увеличивает воспринимаемый размер эффекта, причём и у столбиков, и у линий. Но авторы не выводят из этого правило «всегда от нуля»: они проверяли варианты дизайна, которые явно сигнализируют об обрезке, и эти варианты искажение не устранили. Практический смысл такой: у столбика длина и есть значение, поэтому основание не режут; у линии динамики обрезка обсуждаема, но помечать её бесполезно, лучше просто рисовать разницу отдельным графиком.

И общий слой, про который забывают: отчёт для руководства и отчёт для аналитика это разные документы. В первом заголовок графика это вывод, а не «Вопрос 5», на одном графике одна мысль, категории отсортированы по значению, а не по порядку в анкете. Если разница между сегментами нарисована, она должна быть проверена: автопоиск различий и хи-квадрат отвечают, реальная это разница или шум, а размер выборки задаёт, насколько вообще можно доверять срезу.

Как собрать это, не рисуя руками

Всё описанное можно выстроить в Excel, но на второй волне опроса это превращается в ручную работу. Сборка отчёта из CSV делает то же самое из выгрузки: принимает файл до 10 МБ и 20 тысяч строк в кодировках UTF-8 и Windows-1251, сама определяет разделитель, а дальше классифицирует колонки по типу вопроса, то есть выбор, шкала, NPS, дата.

Самое полезное там это ручная переклассификация колонки. Именно в этот момент вы и выбираете график: движок построит для колонки, помеченной как мультивыбор, горизонтальные столбики, а не пончик, и посчитает базу правильно. На выходе HTML-отчёт со сводкой, графиками по вопросам, блоком качества данных и версией для печати. Персональные данные, почта, телефон и метки кампаний, в графики не попадают, отчёт закрыт паролем и удаляется в один клик.

Дальше, когда отчёт собран, обычно возникает следующий вопрос: чем именно различаются сегменты и что чинить первым. На это отвечают двумерный анализ и анализ ключевых драйверов.

Частые вопросы

Можно ли вообще использовать круговую диаграмму для результатов опроса?

Можно, но узко: одиночный выбор, две-четыре категории, и когда важна именно доля от целого. На пяти и более вариантах столбчатая читается точнее. На вопросах с множественным выбором круговая запрещена в принципе, там нет целого, которое делится на части.

Почему сумма процентов в мультивыборе больше 100?

Потому что знаменатель это респонденты, а числитель это отметки, и один человек мог отметить несколько вариантов. Это не ошибка, это свойство вопроса. В подписи надо прямо написать, что можно было выбрать несколько ответов, и указать базу. Альтернатива это считать долю от общего числа отметок, тогда сумма будет ровно 100, но отвечать такой график будет уже на другой вопрос.

Что показывать по шкале Лайкерта, средний балл или распределение?

Распределение. Средний балл 3,5 одинаково получается из ровных троек и из поляризованной смеси крайних оценок, а решения из этих ситуаций противоположные. Если нужна одна цифра для слайда, берите долю верхних двух делений, она не схлопывает разброс так сильно и понятнее читается.

Как показать NPS, чтобы не потерять смысл?

Двумя картинками: распределение оценок от 0 до 10 и полоса долей промоутеров, нейтралов и критиков. Индекс как одну цифру уместно давать только в динамике по волнам. Пирог из трёх сегментов и спидометр не подходят: индекс это разность долей, а не часть целого.

Что не так с облаком слов по открытым ответам?

Оно кодирует частоту площадью и смешивает её с длиной слова, поэтому длинное редкое слово выглядит важнее короткого частого. В нём нет ни точных частот, ни базы, и две волны опроса по облакам не сравнить. Для навигации по тексту оно годится, для вывода в отчёте нет, там нужны столбики по закодированным темам.

Обязательно ли начинать ось от нуля?

У столбчатых диаграмм да, потому что длина столбика и есть значение, а обрезанное основание усиливает воспринимаемую разницу. У линий динамики обрезка допустима и иногда необходима, чтобы увидеть изменение, но тогда честнее вынести саму разницу на отдельный график, а не полагаться на пометку об обрезке.