Эффект первичности (Primacy Effect)

Эффект первичности это перекос в пользу первых вариантов списка. Респондент выбирает не тот пункт, который лучше подходит, а тот, до которого дошёл раньше и признал приемлемым.

В веб-анкетах это основной перекос порядка: варианты видно глазами, читают их сверху вниз. У него есть зеркальный близнец для устных опросов, эффект новизны, но механизм там другой.

Откуда известно, что дело в подаче

Различие открыли Джон Крозник и Дуэйн Элвин в 1987 году. Они взяли один и тот же вопрос и показали его двум случайным половинам выборки по-разному: одним варианты дали списком на карточке, другим зачитали вслух.

Практический вывод для онлайн-исследований прямой: считайте, что первичность у вас работает всегда, пока варианты выводятся на экран. Слуховой случай разобран отдельно в карточке эффект новизны.

Почему он возникает

Механизм называют экономией усилий. Отвечать добросовестно дорого: прочитать все варианты, соотнести каждый со своим опытом, выбрать лучший. Отвечать приемлемо дёшево: взять первое, что подходит, и идти дальше.

Из этого следует, что эффект первичности не про память. Респондент видит весь список, он ничего не забыл, он просто перестал читать. Тем и отличается от эффекта новизны, где выбор идёт из того немногого, что удержалось в голове.

Общий знаменатель с соседями по кластеру именно этот. Эффект согласия и эффект центральной тенденции устроены так же: респондент выбирает путь наименьшего сопротивления, а не тот ответ, который считает верным.

Кто поддаётся сильнее

Как респонденты искажают свои ответы: подробный разбор

Крозник объяснял оба эффекта через то, что он назвал экономией усилий. Отвечать добросовестно дорого: надо прочитать все варианты, соотнести каждый со своим опытом, выбрать лучший. Отвечать приемлемо дёшево: берёшь первое, что подходит, и идёшь дальше.

Отсюда предсказание, которое подтвердилось в его работе: сильнее всего перекос у тех, кому вопрос даётся тяжелее. Это не про образование, а про нагрузку в конкретный момент: длинная анкета, непонятная формулировка, спешка, неудобный экран телефона.

Практический вывод обратный привычному. Бороться с эффектом порядка лучше не настройками анкеты, а её сокращением. Короткая анкета с понятными вопросами даёт меньший перекос, чем длинная с идеально настроенной рандомизацией.

Когда перекос сильнее

• длинный список: на пяти вариантах эффект слабый, на пятнадцати заметный;
• однотипные варианты, между которыми трудно выбрать по существу;
• вопрос в конце длинной анкеты, когда респондент уже устал;
• формулировки, требующие усилия: длинные, с придаточными, с отрицаниями;
• На коротком списке из трёх ярко различающихся вариантов беспокоиться не о чем.

Как измерить свой перекос

Догадываться о величине эффекта бесполезно, но померить его несложно.

Половина респондентов видит список в прямом порядке, половина в обратном. Дальше сравниваете долю каждого варианта между половинами. Если «Цена» набирает 34% в первой позиции и 21% в последней, эффект порядка равен 13 процентным пунктам, и это больше, чем разница между многими вашими сегментами.

Разница между половинами сама подвержена случайности, поэтому рядом стоит смотреть погрешность выборки: на двухстах ответах разрыв в три пункта ничего не значит.

Дальше начинается интересное. Если в отчёте прошлой волны «Цена» набрала 30% и стояла первой, а в этой волне вы её опустили вниз и получили 22%, то никакого падения не произошло. Вы измерили собственную вёрстку.

Порядок вопросов работает так же

Списком вариантов дело не ограничивается. Порядок самих вопросов меняет ответы не слабее.

Классический механизм: вопрос о частных вещах, заданный перед общим, задаёт рамку для общего. Спросите сначала «довольны ли вы скоростью поддержки», потом «довольны ли вы сервисом в целом», и вторая оценка подтянется к первой. Поменяйте местами, и общая оценка будет выше, потому что респондент ещё не вспомнил про поддержку.

Это уже соседняя тема, у неё своя карточка: контекстное смещение. Здесь важно другое: рандомизация вариантов внутри вопроса от этого не спасает, порядок блоков нужно продумывать отдельно.

Как убрать

1. Случайный порядок вариантов. Основное лекарство. Каждый респондент видит свою перестановку, и смещение размазывается по всем вариантам вместо того, чтобы копиться на первом.
2. Позиции, которые нельзя перемешивать, закрепляют отдельно. «Другое», «Затрудняюсь ответить» и «Ничего из перечисленного» всегда остаются в конце, иначе список становится нечитаемым.
3. Порядковые шкалы не перемешивают вообще. Ряд от «совсем не устраивает» до «полностью устраивает» это последовательность, и случайный порядок её ломает.
4. Длинный список лучше разбить на два вопроса или сократить. Пятнадцать вариантов почти гарантированно дают перекос, независимо от рандомизации.

Частая ошибка

Рандомизацию включают, а результаты потом сравнивают с прошлой волной, где порядок был фиксированным. Получается сравнение двух разных измерений: в старом замере первый вариант завышен, в новом нет, и «падение» бренда объясняется настройкой анкеты.

Правило простое: рандомизация вводится один раз и навсегда, а волна, на которой её включили, помечается в отчёте как точка разрыва ряда.

Как собрать шкалу Лайкерта, которую потом можно посчитать

Как это сделано в WebAsk

Случайный порядок вариантов включается в настройках вопроса, отдельно для каждого. Перемешивание идёт для каждого респондента своё, поэтому специально ничего чередовать не нужно.

Если нужно именно измерить эффект, а не погасить его, работает связка скрытого поля и логики: две версии вопроса с разным порядком, респонденты распределяются между ними, а в отчёте срез по скрытому полю показывает обе доли рядом.

И общее наблюдение по спискам: перед публикацией стоит прочитать варианты вслух подряд. Если к середине списка вы сами теряете нить, респондент потеряет её раньше, и никакая рандомизация этого не исправит, потому что выбирать он будет не из смысла, а из позиции.

Чего рандомизация не лечит

Случайный порядок убирает системный перекос в пользу конкретной позиции, но он не делает ответы точнее. Респондент, который берёт первый попавшийся вариант, продолжит брать первый попавшийся, просто теперь это будет каждый раз другой вариант.

Иначе говоря, рандомизация переводит смещение в шум. Для сводных долей это хорошо: систематическая ошибка исчезает. Для отдельного ответа ничего не меняется, и если вам важно качество каждой анкеты, а не одно лишь итоговое распределение, лечить надо длину и формулировки.

Коротко

• эффект первичности это перекос в пользу первых позиций списка;
• работает там, где варианты видно: веб-анкета, бумага, карточка;
• механизм это экономия усилий, респондент берёт первый подходящий и не читает дальше;
• перекос растёт с длиной списка и усталостью респондента;
• измеряется расщеплением выборки на прямой и обратный порядок;
• лечится случайным порядком, кроме шкал и служебных вариантов;
• порядок вопросов создаёт свой перекос, и рандомизация вариантов от него не помогает.

Вопросы и ответы

Чем эффект первичности отличается от эффекта новизны?

Позицией, которая выигрывает, и причиной. Эффект первичности поднимает первые варианты, когда список читают глазами: респондент берёт первый подходящий. Эффект новизны поднимает последние, когда варианты зачитывают вслух: конец списка лучше держится в памяти.

Насколько длинным должен быть список, чтобы появился перекос?

На трёх-четырёх различимых вариантах он почти незаметен. Заметным становится примерно с восьми пунктов, а на списке из пятнадцати однотипных вариантов первая позиция получает ощутимую надбавку просто за место.

Как измерить эффект порядка в своём опросе?

Показать двум случайным половинам выборки список в прямом и обратном порядке, потом сравнить доли вариантов. Разница между половинами и есть величина эффекта.

Всегда ли нужно перемешивать варианты ответа?

Нет. Порядковые шкалы перемешивать нельзя, они выстроены по возрастанию. Служебные варианты вроде «Другое» и «Затрудняюсь ответить» закрепляют в конце. Перемешивают содержательные списки: бренды, причины, функции.

Насколько велик эффект порядка?

Зависит от списка. На коротком списке из трёх различимых вариантов он почти незаметен, на списке из пятнадцати однотипных пунктов разница между первой и последней позицией достигает десятка процентных пунктов.

Можно ли включить рандомизацию посреди серии замеров?

Технически да, но ряд после этого разрывается. Волна с рандомизацией несопоставима с прошлыми, где порядок был фиксированным, и это нужно помечать в отчёте.