Эффект первичности в опросах: почему верхний вариант выбирают чаще

Порядок вариантов ответа меняет сами ответы. Если поменять варианты местами и разослать анкету заново, доли по ним разойдутся, хотя спрашивали вы у тех же людей и о том же самом.

Это называется эффектом порядка, и у него два лица. В онлайн-опросе, где человек видит список глазами, чаще выбирают то, что стоит выше: это эффект первичности. Если те же варианты зачитать вслух, по телефону или голосовым ботом, картина переворачивается и чаще выбирают последнее услышанное: это эффект новизны.

Разберём, откуда берётся смещение, насколько оно опасно для ваших данных, как его убирает ротация вариантов и в каких вопросах ротацию включать нельзя.

Пример эффекта первичности

Вопрос: «Что для вас важнее всего при выборе сервиса?» и шесть вариантов. Одной половине аудитории список показали в одном порядке, другой в обратном.

Вариант «удобство интерфейса» в первой версии стоял первым и собрал заметно больше выборов, чем в версии, где он оказался последним. С «ценой» произошло ровно наоборот. Ни один человек не поменял мнение, поменялось только положение строки в списке.

Именно поэтому запрос «пример эффекта первичности» обычно приходит от людей, которые уже увидели у себя странность в данных: лидер опроса подозрительно совпал с первым пунктом списка.

Откуда это берётся

Классическую работу на эту тему опубликовали Кросник и Элвин в 1987 году. Они показали, что направление смещения зависит от того, как человек получает варианты.

Когда варианты видны глазами, человек читает список сверху и останавливается на первом, который кажется приемлемым. Дочитывать до конца незачем, ответ уже найден. Это называют упрощением: респондент ищет не лучший ответ, а достаточно хороший. Отсюда первичность.

Когда варианты зачитывают вслух, работает не поиск, а память. Пока звучит пятый пункт, первый уже забыт, и в момент выбора в голове лучше всего держится последнее услышанное. Отсюда новизна.

Упрощение усиливается там, где у человека меньше сил или мотивации: в конце длинной анкеты, при незнакомой теме, при спешке. Это не про невнимательных людей, это про нормальное поведение любого человека, которому нужно закрыть задачу и идти дальше. Поэтому бороться с эффектом уговорами вроде «пожалуйста, прочитайте все варианты» бесполезно, работает только устройство самой анкеты.

Для практики отсюда один вывод, и он важнее всей теории: любой онлайн-опрос визуальный, значит смещение в нём всегда в сторону верха списка. Не нужно гадать, какой из двух эффектов у вас: если анкета читается с экрана, это первичность.

Когда смещение сильнее

Эффект есть всегда, но его величина сильно зависит от условий. Четыре вещи, которые его усиливают.

Длинный список. На трёх вариантах человек охватывает всё сразу, на десяти читает первые несколько и выбирает из них. Чем длиннее список, тем больше нижних вариантов вообще не рассматривается.

Однородные варианты. Если пункты близки по смыслу и между ними трудно выбрать, человек охотнее хватается за первый подходящий. Когда один вариант явно правильный, порядок значения почти не имеет.

Усталость. К двадцатому вопросу анкеты внимательное чтение заканчивается. Смещение к верхним вариантам в конце длинной анкеты заметно сильнее, чем в начале.

Незаинтересованность в теме. Человек, которому тема безразлична, экономит силы охотнее. Это же объясняет, почему в добровольных опросах «за компанию» смещение сильнее, чем в опросах, где респондент лично заинтересован в результате.

Сколько вопросов должно быть в опросе

Где эффект бьёт сильнее всего

Смещение зависит не только от длины списка, но и от того, каким элементом вы этот список показали. Четыре типа вопросов по убыванию опасности.

Выпадающий список. Худший случай, и по механической причине: часть вариантов вообще не видна, пока человек не прокрутит. Невидимый вариант не может быть выбран осознанно, поэтому в выпадающем списке смещение к верхним пунктам самое сильное. Для вопросов про мнение выпадающие списки лучше не использовать вовсе, оставьте их для справочников вроде страны или города, где человек ищет конкретное известное ему значение, а не выбирает.

Множественный выбор. Страдает сильнее одиночного, потому что человек не ищет единственный подходящий ответ, а набирает несколько. Набрав три-четыре галочки сверху, он считает задачу выполненной и до низа списка не доходит. Здесь ротация обязательна практически всегда.

Одиночный выбор длинным списком. Классический случай, с которого начинается статья. От семи вариантов и больше эффект заметен, до пяти обычно мал.

Матрица утверждений. Тут смещение работает по вертикали: первые строки матрицы получают более обдуманные оценки, а к последним человек начинает проставлять один и тот же столбец. Ротация строк матрицы помогает, ротация её колонок недопустима, потому что колонки это шкала.

Что делать, если вариантов действительно много

Ротация распределяет смещение, но не убирает главную причину: человек не рассматривает весь список. Если вариантов пятнадцать, ротация сделает данные честнее, а качество ответов останется низким. Поэтому сначала список сокращают.

Оставьте пять до семи вариантов. Это тот объём, который человек реально удерживает при выборе. Всё, что ниже по частоте, уходит в «другое» с полем для текста: так вы и список сократите, и редкие ответы не потеряете.

Сгруппируйте близкое. Часто длинный список это несколько вариантов одной темы, записанных по отдельности. «Медленно грузится», «зависает», «долго открывается» это один пункт про скорость, а не три.

Разбейте на два вопроса. Сначала категория, потом уточнение внутри неё через ветвление. Два коротких списка работают заметно лучше одного длинного, и человек видит оба целиком.

Соберите список из открытых ответов. Самый надёжный путь для первой волны: сначала задайте вопрос открытым, потом соберите варианты из того, что люди написали своими словами. Список получится короче и точнее любого придуманного за столом. Как устроены типы вопросов и когда какой брать, разобрано в материале про виды опросов и типы вопросов.

Короткий список полезен и сам по себе: он снижает долю тех, кто бросит анкету на середине. Про остальные причины отказов есть отдельный разбор, как снизить долю брошенных анкет.

Что с этим делать: ротация вариантов

Основное лекарство одно: показывать варианты разным людям в разном порядке. Тогда смещение не исчезает у отдельного человека, но распределяется по всем вариантам равномерно и перестаёт искажать итоговые доли.

Ротация бывает двух видов. Случайный порядок перемешивает варианты для каждого респондента. Обратный порядок показывает половине аудитории список сверху вниз, половине снизу вверх. Первый вариант проще и работает почти всегда, второй удобен, когда вы хотите потом сравнить две половины и увидеть размер эффекта своими глазами.

Включать ротацию стоит по умолчанию во всех вопросах с несколькими равноправными вариантами. Это одна галочка в конструкторе, а данные она чинит заметно.

Отдельный вопрос: что делать, если предыдущие волны шли без ротации, а теперь вы хотите её включить. Соблазн оставить как было, чтобы не сломать сравнение, понятен, но он консервирует ошибку: вы продолжите сравнивать одно смещённое измерение с другим. Разумнее включить ротацию и явно отметить в отчёте, с какой волны это сделано, а первую волну после включения считать новой точкой отсчёта. Один разрыв в ряду честнее, чем бесконечный ряд с известным перекосом.

Где ротацию включать нельзя

Тут начинается самое важное, потому что бездумно включённая ротация ломает анкету сильнее, чем эффект первичности.

Шкалы. «Полностью не согласен, скорее не согласен, затрудняюсь, скорее согласен, полностью согласен» это упорядоченная шкала, и перемешивать её пункты нельзя ни при каких условиях. Человек читает шкалу как линейку, а перемешанная линейка превращается в набор случайных подписей. Как устроены такие шкалы, разобрано в материале про шкалу Лайкерта.

Естественный порядок. Возрастные группы, диапазоны дохода, дни недели, стадии процесса. Всё, где порядок несёт смысл, остаётся как есть.

Служебные варианты. «Другое», «Затрудняюсь ответить», «Ничего из перечисленного» всегда стоят последними и в ротации не участвуют. Если такой пункт всплывёт в середине списка, часть людей выберет его просто потому, что он попался раньше подходящего.

Варианты, связанные попарно. Если в списке есть «утром» и «вечером» или «дешевле» и «дороже», перемешивание может развести пару и сбить логику чтения. Такие пункты либо закрепляют, либо ротируют блоками.

Практический подход простой: ротация включена по умолчанию, а исключения перечислены явно. Не наоборот.

Другие эффекты порядка

Порядок вариантов не единственное, что двигает ответы. Рядом живут ещё два эффекта, которые часто путают с первичностью.

Влияние предыдущего вопроса. Вопрос задаёт рамку для следующего. Если сначала спросить «Насколько вы довольны поддержкой?», а потом «Насколько вы довольны компанией в целом?», второй ответ будет ближе к первому, чем если бы вопрос про компанию стоял в начале. Лечится порядком блоков: общие вопросы идут до частных, а не после.

Эффект якоря. Первое названное число задаёт точку отсчёта. Спросите «Вы тратите на это больше или меньше 10 000 рублей?», а потом «Сколько именно?», и ответы сдвинутся к десяти тысячам. Поэтому в вопросах про суммы, сроки и количества избегают подсказок с примерами чисел.

Всё это относится к устройству анкеты. Есть и другая группа искажений, связанная не с формой, а с самим человеком: желание выглядеть лучше, нежелание обидеть, страх последствий. Про это есть отдельный разбор о том, как респонденты искажают свои ответы.

Открытые и закрытые вопросы

Эффект первичности за пределами анкет

Тот же механизм работает везде, где человеку показывают список и просят выбрать. Примеры узнаваемы.

Выдача поиска. Первые позиции получают несоизмеримо больше переходов, чем следующие, и дело не только в качестве результатов. Люди берут первый приемлемый ответ и не листают дальше.

Меню и карточки товаров. Позиция в начале списка продаётся лучше при прочих равных, поэтому порядок в каталоге это не мелочь оформления, а решение о продажах.

Избирательный бюллетень. Порядок фамилий в списке влияет на результат настолько, что во многих странах его определяют жеребьёвкой, а не алфавитом. Это, пожалуй, самый наглядный пример того, насколько серьёзно к эффекту относятся там, где цена ошибки высока.

Список задач. Верхние пункты делаются чаще нижних, даже когда важность обратная. Отсюда практика вручную поднимать наверх то, что должно быть сделано, а не то, что записано раньше.

Для опросов из этого следует простая мысль: если порядок влияет на выбор избирателя и покупателя, странно ожидать, что респондент анкеты окажется устойчивее.

Как проверить, есть ли эффект у вас

Если ротация не была включена, а данные уже собраны, полностью восстановить картину не получится. Но понять, насколько всё плохо, можно.

Посмотрите на форму распределения. Если доли выборов монотонно убывают сверху вниз списка и это убывание подозрительно ровное, скорее всего вы смотрите не на мнения, а на порядок строк.

Сравните с открытым вопросом. Если рядом был открытый вопрос на ту же тему, посмотрите, совпадает ли лидер закрытого вопроса с тем, что люди писали своими словами. Расхождение это сигнал.

Проведите вторую волну с обратным порядком. Самый честный способ. Разошлите ту же анкету с перевёрнутым списком и сравните доли. Разница между двумя волнами и есть размер эффекта в ваших условиях.

Посмотрите на «другое». Если служебный вариант стоял не последним, а где-то в середине, и собрал неожиданно много выборов, это почти наверняка эффект порядка, а не богатство мнений.

Не сравнивайте волны с разным порядком как динамику. Это отдельная ловушка. Если в первой волне порядок был один, а во второй другой, изменение долей нельзя объявлять изменением мнений. Порядок вариантов между волнами не меняют, а если поменяли, отмечают это в отчёте.

Чек-лист

• Ротация включена во всех вопросах с равноправными вариантами
• Шкалы согласия, оценок и естественные последовательности из ротации исключены
• «Другое» и «Затрудняюсь ответить» закреплены в конце
• Длинные списки сокращены: чем короче, тем меньше смещение
• Общие вопросы стоят до частных, а не после
• В вопросах про суммы и сроки нет примеров чисел в формулировке
• Порядок вариантов между волнами не менялся, иначе динамику не сравнить
• Если ротации не было, лидер закрытого вопроса сверен с открытым

Частые вопросы

Что такое эффект первичности простыми словами?

Это склонность выбирать варианты, которые стоят в начале списка. Человек читает сверху и останавливается на первом подходящем, не дочитывая остальные. В опросах это значит, что верхние варианты набирают больше выборов не из-за содержания, а из-за положения.

Чем эффект первичности отличается от эффекта новизны?

Направлением и причиной. Первичность возникает, когда варианты видны глазами: человек берёт первый приемлемый. Новизна возникает, когда варианты зачитывают вслух: человек хуже помнит начало списка и выбирает из последнего услышанного. В онлайн-опросах встречается только первичность.

Как убрать эффект первичности из опроса?

Включить ротацию вариантов, то есть показывать их разным людям в разном порядке. У отдельного человека смещение останется, но по всей выборке оно распределится равномерно и перестанет искажать доли.

Можно ли перемешивать варианты в шкале согласия?

Нет. Шкала это упорядоченная линейка, и её пункты всегда идут в одном направлении. Перемешивание превращает шкалу в набор несвязанных подписей, и ответы по ней теряют смысл.

Где ставить вариант «Затрудняюсь ответить»?

Последним и вне ротации. Если он попадёт в середину списка, часть людей выберет его просто потому, что он встретился раньше подходящего варианта.

Как понять, что данные уже испорчены порядком вариантов?

Посмотрите, не убывают ли доли ровно сверху вниз по списку, и сверьте лидера закрытого вопроса с ответами на открытый вопрос по той же теме. Точный способ один: повторить опрос с обратным порядком и сравнить доли.