Альфа Кронбаха: как проверить, что вопросы анкеты меряют одно

Вы задали восемь вопросов про вовлечённость, сложили ответы и получили «индекс вовлечённости 72%». Вопрос, на который почти никто не отвечает перед тем, как показать эту цифру руководству: а восемь вопросов точно про одно?

Складывать ответы в один показатель это нормальная и полезная практика. Один индекс проще отслеживать от волны к волне, чем восемь отдельных цифр, и по нему удобнее разговаривать с руководством. Но складывать можно только то, что действительно меряет одно и то же. Если в наборе смешались две разные темы, индекс всё равно посчитается, всё равно даст красивый процент и всё равно будет меняться от волны к волне. Только понять, из-за чего он изменился, будет невозможно.

Ниже разберём, как это проверяется, какие числа считать нормальными, почему слишком высокое значение это тоже плохой сигнал, и что делать, если проверка показала, что шкала не держится. Формул не будет, считать за вас будет калькулятор.

Что ломается, когда в индекс попадает разное

Возьмём живую анкету вовлечённости из восьми утверждений со шкалой от 1 до 5. Все восемь выглядят уместно, ни одно не лишнее:

• У меня есть всё необходимое, чтобы хорошо делать свою работу
• Мне понятно, чего от меня ждут
• Рабочая нагрузка распределена разумно
• Процессы не мешают мне выполнять задачи
• Руководитель замечает мою работу
• Я могу открыто сказать руководителю о проблеме
• В команде помогают друг другу
• За хорошую работу здесь благодарят

Присмотритесь: первые четыре про условия и организацию труда, последние четыре про отношения и признание. Это разные вещи. Человеку может быть отлично с инструментами и процессами и при этом плохо с руководителем. И наоборот.

Дальше начинается самое неприятное. Два отдела получают одинаковый индекс 72%. В первом отделе всё в порядке с процессами и провал по отношениям с руководителем, во втором ровно наоборот. Индекс одинаковый, ситуации противоположные, а решения нужны разные. Из одной цифры вы этого не увидите.

Та же беда и с динамикой. Индекс вырос с 68 до 74. Это выросло признание или наконец починили процессы? Ответа нет, потому что обе темы спрятаны внутри одного числа.

Как проверить, что вопросы держатся вместе

Идея проверки простая. Если несколько вопросов действительно про одно, то люди отвечают на них согласованно: тот, кто поставил высокие оценки первому вопросу набора, скорее всего поставит высокие и остальным. Если согласованности нет, значит вопросы про разное, и складывать их нельзя.

Число, которое это измеряет, называется альфа Кронбаха. Оно лежит примерно от 0 до 1 и показывает, насколько ответы внутри набора согласованы между собой. Посчитать его по своим данным можно в калькуляторе альфы Кронбаха, вводить нужно ответы по каждому вопросу шкалы.

Как собрать шкалу Лайкерта, которую потом можно посчитать

Вернёмся к нашей анкете. Если посчитать по всем восьми вопросам сразу, получится примерно 0,76. Это выглядит прилично, обычно на таком значении успокаиваются и идут делать отчёт. Но если разделить набор на две смысловые группы и посчитать каждую отдельно, выйдет 0,83 у блока про условия и 0,80 у блока про отношения. Обе группы внутри себя держатся крепче, чем весь набор целиком.

Это и есть подпись двух шкал вместо одной: части согласованы лучше, чем целое. Общая цифра при этом не выглядела тревожной, и в этом главная ловушка.

Какие значения считать нормальными

Ниже 0,6. Складывать в индекс нельзя. Вопросы про разное, либо в наборе есть один явно чужой, либо кто-то забыл развернуть обратный вопрос, об этом ниже.

От 0,7 до 0,9. Рабочий диапазон. Индекс можно считать и показывать.

Выше 0,9. Вот здесь неожиданное. Высокое значение принято считать отличным результатом, но на деле это чаще признак того, что вы несколько раз спросили одно и то же разными словами. «Мне нравится работать здесь», «Мне комфортно на этой работе» и «Работа приносит мне удовольствие» дадут прекрасную согласованность и ровно ноль дополнительной информации. Анкета при этом длиннее, а знаете вы столько же.

И самое важное про это число, о чём почти всегда забывают. Высокая альфа не доказывает, что вопросы меряют одно. Согласованность это необходимое условие, но недостаточное: набор может состоять из двух связанных между собой тем и всё равно показать приличную цифру. Поэтому проверка начинается не с калькулятора, а с чтения собственных формулировок глазами. Если вы не можете назвать одним словом, что меряет набор, никакое число этого не исправит.

Длинная шкала поднимает альфу сама по себе

Ещё одна вещь, которая полностью меняет отношение к этому показателю. Альфа зависит от количества вопросов в наборе, причём механически. Добавили вопросов, пусть даже посредственных и повторяющих друг друга, и значение выросло само, безо всякого улучшения анкеты.

Посмотрите на цифры. Если вопросы связаны между собой средне, набор из четырёх даст около 0,63, из восьми около 0,77, а из шестнадцати уже около 0,87. Качество вопросов при этом не менялось ни на шаг, менялось только их количество.

А теперь сравнение, ради которого всё это и считалось: четыре по-настоящему хороших вопроса, тесно связанных между собой, дают около 0,83. То есть четыре точных вопроса обгоняют восемь посредственных, а анкета вдвое короче.

Практический вывод простой. Фраза «у нашего индекса альфа 0,92» сама по себе ничего не говорит, пока не сказано, из скольких вопросов он собран. На двадцати вопросах такое значение не достижение, а норма.

Обратные вопросы нужно развернуть до подсчёта

В хороших анкетах часть утверждений формулируют наоборот, чтобы человек не проставил всю колонку пятёрок на автомате. Среди «Мне понятно, чего от меня ждут» появляется «Я часто думаю о смене работы».

Такие вопросы нужно развернуть перед подсчётом: пятёрка в обратном вопросе означает то же, что единица в прямом. Если этого не сделать, обратный вопрос будет двигаться против всех остальных и утянет согласованность вниз.

Отсюда полезное практическое правило. Если вы посчитали альфу и получили неожиданно низкое или даже отрицательное значение, первым делом проверьте не смысл вопросов, а разворот шкалы. В подавляющем большинстве случаев дело именно в нём, а не в том, что анкета плохая.

Сколько нужно ответов

Оценка согласованности требует данных. На группе из десяти человек значение прыгает так, что верить ему нельзя: один нетипичный респондент двигает его на десятые доли. Практическое правило: меньше тридцати ответов считать смысла нет, устойчивая оценка начинается от сотни и выше.

Это не повод не проверять шкалу вовсе. Просто на маленькой группе проверка идёт глазами: читаете формулировки и смотрите, нет ли в наборе вопроса про очевидно другую тему. Как прикинуть нужное число ответов под свою задачу, разобрано в материале про размер выборки и доверительный интервал.

Опрос вовлечённости сотрудников

Что делать, если шкала не держится

Разделить набор на две шкалы. Самый частый и самый честный исход. Вместо одного индекса вовлечённости получаете индекс условий и индекс отношений, и оба продолжаете отслеживать. Отчёт становится не сложнее, а понятнее: видно, какая половина двигается.

Убрать один вопрос. Бывает, что набор разваливает ровно одно утверждение, которое попало в анкету из другой темы. Хорошие калькуляторы показывают, как изменится значение при удалении каждого вопроса, и такой чужак виден сразу. Только убирайте его осознанно: если вопрос важен сам по себе, его не выбрасывают, а выносят в отдельный показатель.

Переписать формулировки. Иногда вопросы про одно, но написаны так по-разному, что люди понимают их по-разному. Здесь помогает не статистика, а разговор с пятью сотрудниками про то, как они прочитали каждое утверждение.

Оставить как есть и не строить индекс. Тоже нормальное решение. Восемь отдельных вопросов с долей согласных по каждому это рабочий отчёт. Индекс нужен не всегда, а сводить в одно число то, что в одно не сводится, хуже, чем не сводить вовсе.

Разделение почти всегда пугает больше, чем стоит. Кажется, что вместо одной понятной цифры руководству придётся объяснять две, и разговор усложнится. На практике происходит обратное. Одинаковый индекс 72% у двух отделов не давал сказать ничего, а «условия 84 и 60, отношения 60 и 84» сразу называет, что чинить и у кого. Одно число выглядит проще, но покупается эта простота потерей ровно той информации, ради которой опрос и проводили.

Признаки на глаз, без всякой статистики

Если считать нечем или не на чем, эти проверки ловят большую часть проблем ещё до сбора ответов.

• Вы не можете назвать одним существительным то, что меряет набор. «Вовлечённость и условия» это уже два набора
• В наборе есть вопрос, который вы добавили «раз уж всё равно спрашиваем». Он почти наверняка из другой темы
• Вопросы относятся к разным частям рабочей жизни: оплата, руководитель, инструменты, карьера. Это четыре темы, а не одна
• Часть утверждений про факты, а часть про чувства. «Мне отвечают на письма в течение дня» и «Я чувствую поддержку коллег» в один индекс не складываются
• Вопросы про разные периоды: что-то про прямо сейчас, что-то про планы на год вперёд

Отдельно стоит сказать про готовые методики. Если вы берёте известный опросник целиком и не меняете формулировки, его шкалы уже проверены авторами, и заново это делать не нужно. Проверка обязательна там, где вы собрали набор вопросов сами или переписали чужой под себя, а это как раз самый частый случай. Если индекс собирается по вашей собственной анкете, посмотрите, как это устроено в материале про опрос удовлетворённости и индекс ESI.

Наборы, которые чаще всего склеивают зря

Четыре сочетания, которые попадают в один индекс почти в каждой второй анкете, хотя не должны.

Вопрос про рекомендацию компании и всё остальное. «Насколько вероятно, что вы порекомендуете нашу компанию как место работы» это отдельная метрика со своей логикой подсчёта. Внутрь индекса вовлечённости она не кладётся, считается отдельно и отдельно же показывается.

Оценка руководителя и оценка компании. «Мой руководитель даёт понятную обратную связь» и «Компания честно говорит с сотрудниками о планах» это два разных адресата. Сотрудник вполне может любить своего начальника и не верить компании. Смешаете, и не поймёте, к кому претензия.

Деньги и всё остальное. Вопросы про оплату почти всегда живут своей жизнью и слабо связаны с остальной анкетой. Их и держат отдельным показателем, иначе один вопрос про зарплату будет двигать общий индекс сильнее, чем всё остальное вместе.

Что человек думает и что он делает. «Мне нравится, как у нас организовано обучение» и «Я прошёл хотя бы один курс за квартал» это мнение и факт. Складывать их нельзя: факт не меняется от настроения, а мнение меняется.

Когда проверять не нужно

Проверка нужна не всегда, и тратить на неё время в трёх случаях не стоит.

Первый: вы взяли готовую известную методику целиком и не трогали формулировки. Её шкалы уже проверены авторами на больших выборках, и ваш замер на сорока сотрудниках ничего к этому не добавит. Как только вы переписали хотя бы часть вопросов под свою компанию или выбросили половину, методика стала вашей, и проверять надо заново.

Второй: показатель состоит из одного вопроса. Согласовывать там нечего, у одного вопроса нет внутренней согласованности.

Третий: вы не строите индекс вообще, а показываете каждый вопрос отдельно. Это законный формат отчёта, и он не требует никаких проверок. Проверка нужна ровно тогда, когда несколько ответов схлопываются в одно число.

Чек-лист перед тем, как показать индекс

• Набор вопросов называется одним словом, а не перечислением через «и»
• Обратные вопросы развёрнуты до подсчёта, а не после
• Согласованность посчитана, значение в диапазоне примерно от 0,7 до 0,9
• Значение выше 0,9 проверено на дубли: нет ли трёх формулировок про одно и то же
• Рядом с числом указано, из скольких вопросов собран индекс
• Ответов достаточно, чтобы оценке можно было верить
• Если набор разделился на две шкалы, в отчёт идут обе, а не среднее из них

Частые вопросы

Для чего используется альфа Кронбаха?

Она показывает, насколько согласованно люди отвечают на группу вопросов, которые вы считаете одной шкалой. Практический смысл один: можно ли складывать ответы на эти вопросы в общий индекс или получится смесь разных тем под видом одной цифры.

Какое значение считается хорошим?

Рабочий диапазон примерно от 0,7 до 0,9. Ниже 0,6 индекс строить нельзя. Выше 0,9 стоит проверить набор на повторы: очень высокая согласованность обычно означает, что несколько вопросов спрашивают одно и то же разными словами.

Может ли высокая альфа означать, что вопросы меряют одно?

Не может. Высокая согласованность необходима, но её недостаточно: набор из двух связанных тем тоже покажет приличное значение. Поэтому вывод о том, что шкала про одно, делается по смыслу формулировок, а число только подтверждает или опровергает.

Почему у длинной анкеты значение выше?

Так устроен сам показатель: он растёт с количеством вопросов в наборе. Добавление вопросов поднимает его даже без улучшения анкеты. Поэтому значение всегда читают вместе с длиной шкалы, а не отдельно.

Что делать, если получилось отрицательное значение?

Почти всегда это значит, что в наборе есть обратный вопрос, который забыли развернуть перед подсчётом. Проверьте формулировки на «не», «редко», «думаю уйти» и разверните оценки по ним, а потом посчитайте заново.

Нужно ли проверять шкалу, если вопросов всего три?

Нужно, и на коротких наборах это особенно важно. Значение на трёх вопросах ниже при том же качестве, поэтому не пугайтесь цифры около 0,6. Здесь полезнее смотреть не на порог, а на то, как меняется согласованность при удалении каждого из трёх вопросов.