Как собрать шкалу Лайкерта, которую потом можно посчитать

Шкалу Лайкерта выбирают, когда нужно измерить отношение: к работе, к продукту, к обучению. Дальше начинается настоящая работа.

Восемь утверждений можно написать так, что респондент честно ответит на каждое, а можно так, что половина ответов окажется реакцией на формулировку, а не на предмет. Разница видна не на этапе анкеты, а через месяц, когда цифры не сходятся с тем, что говорят люди на интервью. Ниже разберём, как собрать блок, который переживёт подсчёт: от формулировки утверждения до готового индекса. Определение термина есть в глоссарии, здесь только практика.

Шкала Лайкерта это набор утверждений, а не один вопрос

Самое частое недоразумение звучит так: «поставим вопрос по шкале Лайкерта». Но в исходном методе 1932 года шкалой назывался не вариант ответа, а весь блок: балл человека складывался из значений по многим утверждениям об одном предмете, и таких утверждений в шкалах Лайкерта было от 12 до 24.

Отсюда практический вывод. Если в анкете стоит одно утверждение с пятью градациями, вы используете пункт шкалы Лайкерта. Это законный формат: одиночный пункт хорошо работает как быстрый замер. Но индекс из него не построить, сравнивать его между волнами рискованно, и любая случайная реакция на слово в формулировке ляжет прямо в результат. Когда нужен устойчивый показатель, нужен блок утверждений.

Классический пример такой шкалы это опросник SUS: десять утверждений, которые по отдельности не значат почти ничего, а вместе дают один балл удобства интерфейса. Ещё одна деталь оттуда же экономит время до сих пор. Лайкерт сравнил простое присвоение баллов от 1 до 5 со сложным взвешиванием и получил корреляцию около 0,99, а схемы с усилением крайних ответов вроде 1, 3, 4, 5, 7 дали то же самое. Изобретать веса не нужно, считайте по делениям.

Пример, на котором будем всё собирать

HR хочет понять, что ломается у новых сотрудников в первые тридцать дней. Опрос уходит на 31-й день работы, отвечают 120 человек за квартал. Измеряем один конструкт: насколько гладко прошёл вход в работу. Вот готовый блок, к которому мы придём по ходу статьи.

1. Мне было понятно, чего от меня ждут в первый месяц.
2. Материалы для новичка были понятными.
3. Доступы и оборудование я получил вовремя.
4. Нужные документы я находил без труда.
5. Внутренний портал помогал мне решать рабочие вопросы.
6. Я знал, к кому обратиться, когда возникал вопрос.
7. Руководитель находил время обсудить мои задачи.
8. Мне часто приходилось искать информацию самому, потому что её никто не дал. (обратный пункт)

Почему восемь. Три утверждения дают слишком грубый индекс: одна случайная реакция заметно сдвигает результат. Двадцать пять утверждений про онбординг человек честно не прочитает, начнётся автоматическое заполнение. Разумный диапазон для прикладного опроса это 6–10 утверждений на конструкт: компромисс между устойчивостью показателя и вниманием респондента. Сам Лайкерт был строже: минимальной планкой надёжности он считал 0,90 и признавал, что ни одна из его шкал до неё не дотянула. Но он работал в академической логике, где надёжность важнее доходимости.

Как написать само утверждение

Именно здесь решается, будут ли данные пригодны, и именно эту часть в статьях обычно пропускают. Три правила, каждое с переписыванием живой формулировки.

Одна мысль на утверждение

Черновой вариант выглядел так: «Онбординг прошёл удобно и быстро». Здесь два разных вопроса. Человек, которому дали отличные материалы, но заставили ждать доступы неделю, не может ответить одним делением. Он выберет то, что зацепило сильнее, а вы не узнаете, что именно. Такая конструкция называется двойным вопросом, и лечится она разделением: «Материалы для новичка были понятными» и отдельно «Доступы и оборудование я получил вовремя».

Никаких отрицаний и подсказок

Вторая ловушка: «Мне не было сложно найти нужные документы». Респондент, который хочет выразить несогласие, вынужден мысленно строить двойное отрицание. Часть людей ошибётся, и ошибка попадёт в данные как настоящее мнение. Пишем прямо: «Нужные документы я находил без труда».

Отдельно про подсказки. Формулировка «Наш удобный портал помогал мне в первые недели» уже содержит оценку, и человеку остаётся согласиться с автором анкеты. Это наводящий вопрос: он смещает распределение вверх и создаёт ощущение, что всё хорошо. Нейтральный вариант: «Внутренний портал помогал мне решать рабочие вопросы».

Одинаковая грамматическая форма по всей батарее

Все восемь утверждений пишутся от первого лица, в одном времени и примерно одной длины. Причина техническая: блок читается как единая таблица, и любой сбой ритма заставляет человека перечитывать строку. Когда таких сбоев несколько, человек переходит в режим автопилота, и ответы перестают различаться между строками. Единая грамматика тут работает на качество данных, а не на красоту.

Варианты ответа: «согласен / не согласен» это не обязательный формат

Лесенка от «полностью не согласен» до «полностью согласен» стала синонимом метода, хотя у неё есть системная слабость, которая портит данные тем сильнее, чем длиннее анкета.

Почему предметная шкала обычно лучше согласия

Люди склонны соглашаться, и эффект согласия работает независимо от содержания утверждения. В обзоре Кросника и Прессера (Handbook of Survey Research, 2010) сведены три группы экспериментов. С утверждением в среднем соглашались 52 процента людей, а с обратным по смыслу не соглашались только 42. Там, где формат согласия сравнивали напрямую с вопросом-альтернативой, за одну и ту же позицию высказывались в среднем на 14 процентных пунктов больше людей. В третьей группе исследований 22 процента респондентов соглашались и с утверждением, и с его зеркальной версией, тогда как отвергали обе версии лишь 10 процентов. По совокупности авторы оценивают эффект примерно в десять процентных пунктов. Важное следствие: смещение плохо лечится статистикой постфактум, потому что усиливается ровно там, где человек устал.

Лечится это переводом утверждения в предметную шкалу. Вместо «Я знал, к кому обратиться» со шкалой согласия ставим вопрос «Насколько понятно вам было, к кому обращаться с вопросами» и варианты от «совсем непонятно» до «полностью понятно». Человек отвечает про понятность, а не про своё отношение к чужой фразе. Такой формат рекомендуют Сарис с коллегами (Survey Research Methods, 2010). Честности ради: репликация Лелкеса и Вайса (Research & Politics, 2015) заметного выигрыша не нашла, так что спор не закрыт. Но предметная шкала как минимум не хуже и обычно понятнее респонденту.

Шкала должна грамматически подходить к утверждению

Согласие, частота, удовлетворённость и важность это четыре разные шкалы, и они не взаимозаменяемы. К утверждению «Я обращался к наставнику» шкала согласия не подходит: тут нужна частота. К вопросу «Насколько для вас важна была помощь наставника» не подходит частота. Простое правило: прочитайте утверждение вслух вместе с крайним вариантом ответа. Если получилась неестественная фраза, шкала выбрана неверно.

Смешивать разные шкалы внутри одной таблицы нельзя: правило простое, одна батарея, одна шкала, одни и те же подписи столбцов. И подписывайте все деления, а не только края: когда середина у каждого своя, ответы перестают быть сопоставимыми между людьми.

Сколько градаций и нужна ли середина

По числу градаций две независимые проверки дают близкий ответ. В работе Престона и Колмана (Acta Psychologica, 2000) надёжность и различающая способность заметно ниже на двух-четырёх вариантах, растут примерно до семи и дальше не улучшаются, а устойчивость повторного замера после десяти делений начинает падать. Симмс с коллегами на выборке в 1358 человек получили плато около шести вариантов и прямо советуют брать шесть или семь. Вывод: берите от пяти до семи делений, причём обе работы тянут к верхнему краю диапазона. Привычные пять остаются допустимым компромиссом, когда важны короткие подписи и мобильный экран, но при свободном выборе лучше шесть или семь. Как выбирают между 5, 7 и 10 делениями в разных форматах, разобрано в статье про рейтинговую шкалу.

Гораздо интереснее вопрос про середину, потому что здесь распространён вредный совет. Идея «уберём нейтральный вариант, чтобы человек определился» не работает так, как задумано: часть людей, у которых действительно нет мнения, не определяется, а начинает случайно выбирать соседние деления. Вы не получаете позицию, вы получаете шум, который выглядит как позиция.

Обратная ошибка тоже встречается: середину читают как «нейтральное отношение». На практике в неё попадают три разных типа людей: со средним впечатлением, не понявшие вопрос и не сталкивавшиеся с предметом. Плюс есть общая тяга к середине как стиль ответа. Отсюда решение, которое снимает обе проблемы: середину оставляем, а рядом даём отдельный вариант «затрудняюсь ответить» или «не применимо» и выносим его из расчёта индекса, считая отдельной строкой в отчёте. Тогда середина остаётся позицией, а не свалкой.

Обратные утверждения: зачем, когда и как считать

Обратный пункт это утверждение, сформулированное в противоположную сторону: среди «мне всё было понятно» стоит «я часто не понимал, что делать дальше». Сначала техника, потому что именно на ней разваливаются отчёты. Перед тем как складывать пункты в индекс, все они приводятся к одному направлению. На пятибалльной шкале перекодировка простая: новое значение равно 6 минус ответ. Ответ 2 становится 4, ответ 5 становится 1. На семибалльной шкале вычитаем из 8.

Пропущенная перекодировка не выглядит как ошибка: индекс считается, число получается правдоподобное, и поймать её можно только сверкой вручную. В нашем примере восьмой пункт обратный, его сырое среднее 2,2. С перекодировкой оно превращается в 3,8, и индекс блока выходит 3,98. Без перекодировки тот же блок даёт 3,78. Разрыв составляет 0,2 балла, а это больше, чем обычная динамика между двумя кварталами: ошибка в одну строку файла рисует падение, которого не было.

Теперь про то, сколько таких пунктов нужно. Популярный совет сделать половину утверждений обратными, чтобы победить соглашательство, проверки не подтверждают. В исследовании ван Сондерена с коллегами (PLoS ONE, 2013) десять реверсивных пунктов на выборке около семисот человек смещение не предотвратили. Причина понятна: обратные утверждения трудно писать без отрицаний, они нагружают читателя, а невнимательные ответы именно на них ломают структуру данных. По симуляциям Вудса, на которые ссылаются Мид и Крейг (Psychological Methods, 2012), достаточно 10–20 процентов респондентов, отвечающих на такие пункты небрежно, чтобы в блоке появился искусственный фактор, порождённый не смыслом, а формой утверждения. И это не умозрительный порог: в своих данных Мид и Крейг насчитали 10–12 процентов небрежных ответов на длинной анкете.

Рабочий компромисс: один обратный пункт в блоке как контроль внимательности, помеченный в файле подсчёта, а с соглашательством боремся сменой формата вопроса на предметный. Про то, как искажения возникают вообще, есть отдельный разбор.

Как разложить блок в анкете

Батарея просится в таблицу, но у формата есть пределы, разобранные в статье про матричный вопрос. Для нашего блока вывод такой: восемь строк в одну матрицу лучше не ставить, разбейте их на два экрана по четыре или выдайте отдельными вопросами. Порядок строк стоит рандомизировать, чтобы усталость распределялась по пунктам равномерно, а не била всегда в последние.

И общий ограничитель: чем длиннее анкета, тем сильнее соглашательство. Так что короткая анкета помогает и доходимости, и качеству самих ответов.

Что делать с ответами

Порядок действий такой. Сначала перекодировать обратные пункты. Затем проверить, что блок вообще меряет одно и то же: для суммарной шкалы это альфа Кронбаха, посчитать её можно калькулятором. Ориентир простой: от 0,7 и выше блок можно считать одним показателем, ниже 0,6 утверждения тянут в разные стороны и складывать их рано, пограничные случаи разобраны в глоссарии. Только после этого считается индекс: сначала среднее по пунктам для каждого человека, потом среднее этих значений по всем ответившим. Усреднять сразу все ячейки таблицы нельзя, при неполных ответах результат поедет.

Ответы «не применимо» в индекс не входят: у человека просто нет опыта по этому пункту. Если таких ответов у респондента немного, считайте его индекс по остальным утверждениям. Если он отметил «не применимо» больше чем в половине пунктов, индекс по нему не считается вовсе. Сам факт стоит показать отдельной строкой: массовое «не применимо» обычно означает, что утверждение написано не про эту аудиторию.

Дальше начинается главное, и здесь мы расходимся с привычкой смотреть на средний балл. Возьмём одно утверждение из примера: «Мне было понятно, чего от меня ждут в первый месяц». Условное распределение по 120 ответам: 6 человек поставили 1, 14 поставили 2, 30 выбрали середину, 46 поставили 4 и 24 поставили 5.

Среднее равно 3,57 и выглядит спокойно. Доля верхних двух делений составляет 58 процентов, и это уже другой разговор. Доля нижних двух равна 17 процентам: каждый шестой новичок первый месяц не понимал, чего от него ждут. Ещё 25 процентов сидят в середине. Среднее годится как трендовая метрика между волнами, но решения принимайте по долям на полюсах и по форме распределения. Посчитать всё это разом можно калькулятором шкалы Лайкерта, а общая логика описательных показателей разобрана в статье про дескриптивный анализ.

Дальше возникают три вопроса. Что делать, если ответов мало. На тридцати ответах доли скачут: одно изменившееся мнение весит больше трёх процентных пунктов. Смотрите распределение целиком, не делайте выводов из разницы в пару пунктов и считайте погрешность до того, как показывать цифры.

Как сравнивать волны. Сравнение имеет смысл, только если формулировки, шкала и момент отправки не менялись: правка одного слова делает ряд несопоставимым. Изменили формулировку, начинайте ряд заново и пометьте разрыв в отчёте. Что показать руководителю, который просит одну цифру. Дайте индекс блока как заголовок, а рядом две доли: сколько людей на верхних делениях и сколько на нижних. Одна цифра отвечает на вопрос «стало лучше или хуже», две доли отвечают на вопрос «с кем работать», и вместе они занимают одну строку отчёта.

Чек-лист перед запуском

Семь пунктов, прежде чем отправлять анкету. Конструкт назван словами, и все утверждения меряют именно его. Утверждений от шести до десяти. В каждом одна мысль, без «и» в середине, без отрицаний и без оценок от автора. Единая грамматическая форма по всей батарее. Варианты ответа подходят к утверждению по смыслу. Обратный пункт помечен прямо сейчас в том файле, где будете считать: после сбора данных пометка сама не появится. И последнее: покажите блок пяти-десяти людям из целевой аудитории и попросите проговорить вслух, как они понимают каждое утверждение и почему выбирают именно это деление. Половина проблем вылезает здесь, до запуска.

Как это собрать в WebAsk

Блок собирается либо матричным вопросом с общими столбцами, либо серией одиночных шкал с одинаковыми вариантами. Второй способ надёжнее на мобильных, и именно его стоит брать для восьми утверждений. Подписи делений задаются вручную, поэтому предметную шкалу вроде «совсем непонятно / полностью понятно» можно поставить вместо стандартного согласия, а «не применимо» добавить отдельной опцией.

В сводке доли по делениям считаются сразу, так что верхние и нижние два деления видно без выгрузки. Для индекса ответы выгружаются в таблицу, там же делается перекодировка обратного пункта. Начать можно с бесплатного опроса, а если такой блок собирается впервые, посмотрите готовый опрос вовлечённости: там батареи уже разложены по темам.

Частые вопросы

Сколько утверждений нужно, чтобы получилась шкала, а не просто набор вопросов?
Для прикладного опроса разумный диапазон это 6–10 утверждений на один конструкт. Меньше шести делают индекс чувствительным к случайной реакции на одну формулировку, больше десяти утомляют и провоцируют автоматическое заполнение.

Можно ли задать одно утверждение по шкале Лайкерта и не считать индекс?
Да, одиночный пункт это законный формат для быстрого замера. Просто помните, что это именно пункт, а не шкала: за колебанием результата между волнами может стоять реакция на формулировку, а не изменение отношения.

Обязательно ли использовать варианты «полностью согласен / не согласен»?
Нет. Предметная шкала, подобранная под смысл вопроса, меньше провоцирует автоматическое согласие. Формат согласия оправдан, когда утверждения в блоке разнородны и общую предметную шкалу под них не подобрать.

Можно ли в одной анкете использовать разные шкалы для разных блоков?
Можно и нужно. Правило про единую шкалу относится к одной батарее утверждений, а не ко всей анкете. Блок Лайкерта, отдельный вопрос по десятибалльной шкале и открытый вопрос спокойно живут в одной анкете, если внутри каждого блока шкала не меняется.

Как понять, что блок меряет один конструкт, а не три разных?
Сначала прочитайте утверждения подряд и проверьте, отвечают ли они на один вопрос о респонденте. Потом посчитайте согласованность блока: если она низкая, значит пункты тянут в разные стороны и блок стоит разделить на два показателя.

Обязательно ли делать часть утверждений обратными?
Нет. Проверки показывают, что развёрнутые пункты не защищают от соглашательства, зато добавляют отрицаний и ошибок при подсчёте. Одного обратного пункта достаточно как контроля внимательности.

Что делать с теми, кто выбрал «не применимо»?
Такие ответы не входят в расчёт индекса. Если их у человека немного, считайте его результат по остальным утверждениям. Если больше половины пунктов помечены как неприменимые, индекс по нему не считается, а сама доля таких ответов показывается отдельно.