Эффект новизны (Recency Effect)

Эффект новизны это склонность выбирать варианты из конца списка. Он появляется там, где варианты не показывают, а зачитывают: телефонное интервью, разговор без карточки, голосовой опрос.

Причина не в содержании вариантов и не в лени респондента. Причина в том, что список звучал, а звучащее хранится недолго.

Почему выигрывает конец списка

Пока интервьюер читает вариант за вариантом, респондент удерживает их в короткой памяти. Она вмещает немного, и каждый новый пункт вытесняет ранний. К моменту, когда список закончился и прозвучал вопрос «что выбираете», начало уже недоступно.

Отсюда главная зависимость: сила эффекта определяется длиной списка. Три варианта помещаются в памяти целиком, и перекоса нет вовсе. Начиная примерно с пяти-шести пунктов начало списка теряет шансы, на десяти оно выбывает полностью.

Где эффект живёт

Условие всего одно: вариантов не видно.

• телефонный опрос, где интервьюер зачитывает список;
• очное интервью без карточки с вариантами на руках;
• голосовые опросы и IVR, где нажатие клавиши идёт после проговаривания;
• видеоинтервью, если варианты не выведены на экран;
• В обычной веб-анкете эффекта новизны почти не бывает: варианты перед глазами, и там работает эффект первичности, который тянет выбор к началу списка.

Поэтому для онлайн-исследований эффект новизны долгое время оставался сюжетом из учебника. Практическим он становится в одном конкретном случае, и случай этот распространён.

Опасность смешанных каналов

Одну анкету часто гоняют сразу по нескольким каналам: часть аудитории отвечает на сайте, часть по телефону, кого-то опрашивают в зале. Каналы дают перекос в противоположные стороны.

Дальше начинается неприятное. Допустим, в весенней волне 70% ответов пришло с сайта, а в осенней телефонный обзвон дал больше половины. Доля первого варианта упадёт, и это будет выглядеть как изменение мнения аудитории. На деле поменялось соотношение каналов.

Второе проявление: оценка периода

Как респонденты искажают свои ответы: подробный разбор

Списками дело не ограничивается: тот же механизм включается, когда человека просят оценить длинный отрезок времени. Он опирается на конец отрезка.

Вопрос «насколько вы довольны сервисом за прошедший год» на практике собирает впечатление от последних недель. Годичный опыт в памяти не хранится целиком, доступен свежий слой, и оценка получается про него. Именно поэтому квартальные замеры удовлетворённости так чувствительны к тому, когда именно их запустили: неделя после крупного сбоя и неделя после удачного релиза дадут разные цифры при одинаковом годе.

Лечится это конкретизацией периода и опорой на факты вместо впечатлений. Вопрос «сколько раз за последний месяц вы обращались в поддержку» устойчивее, чем «часто ли вы обращались за год». Смежная тема здесь смещение воспоминаний, где разбираются искажения памяти о событиях.

Чем отличается от эффекта первичности

Эти два перекоса зеркальны и их постоянно путают, хотя различие простое.

	Эффект новизны	Эффект первичности
Когда	варианты звучат	варианты видно
Кто выигрывает	конец списка	начало списка
Причина	ограничения памяти	экономия усилий при чтении

Разница в причинах важнее, чем кажется. Против экономии усилий помогает сокращение анкеты: у отдохнувшего респондента хватает терпения дочитать список. Против ограничений памяти сокращение анкеты не поможет никак, память не отдыхает между вопросами, и работает только длина конкретного списка.

Подробный разбор обоих перекосов вместе, со способом измерить свой эффект расщеплением выборки, лежит в карточке эффект первичности.

Как гасить

1. Случайный порядок вариантов. Каждый респондент слышит свою перестановку. Систематическая надбавка последним позициям превращается в шум, распределённый по всем вариантам.
2. Карточка со списком, если интервью очное. Как только варианты попадают респонденту на глаза, слуховой перекос исчезает, но на его место приходит зеркальный визуальный, так что рандомизацию всё равно оставляют.
3. Короткий список. Пять пунктов вместо двенадцати снимают проблему без всяких настроек, потому что перегружать память становится нечем.
4. Служебные варианты остаются на месте. «Затрудняюсь ответить» и «Ничего из перечисленного» не перемешивают: услышанные в середине, они превращаются в самый лёгкий выход и собирают лишние голоса.

Технически перемешивание задаётся настройкой вопроса. У самого приёма в разделе есть отдельная карточка: рандомизация.

Из перемешивания есть исключение, и на слух оно жёстче, чем в вебе: упорядоченные шкалы остаются как есть. Зачитанная вразнобой градация оценок превращается в набор слов, между которыми респондент не видит ни начала, ни конца, и отвечает наугад.

Размер выборки и доверительный интервал для опросов

Как это сделано в WebAsk

Прямого отношения к телефонным интервью у платформы нет, но смешанные замеры собираются здесь регулярно, и вот что помогает.

Канал стоит записывать скрытым полем. Тогда в отчёте видно, сколько ответов пришло откуда, и можно посмотреть распределение по каждому каналу отдельно вместо одной сводной цифры. Заодно становится заметен сам перекос: если в вебе первый вариант собирает заметно больше, чем в телефонной части, вы смотрите на эффект порядка, а не на разницу аудиторий.

Перемешивание задаётся в настройках вопроса и работает для каждого респондента своё. Для устной части опроса те же версии списка удобно распечатать в нескольких вариантах анкеты и раздать интервьюерам.

И самая скучная мера, которая помогает больше прочих: держать списки короткими. Если вариантов набирается двенадцать, обычно это значит, что вопрос стоит разбить на два.

Коротко

• эффект новизны поднимает варианты из конца списка;
• появляется, когда варианты звучат, а не показываются;
• механизм это вытеснение начала списка из короткой памяти;
• сила зависит от длины списка: на трёх вариантах эффекта нет, на десяти начало выбывает;
• при опросе в двух каналах перекосы идут в разные стороны и складывать доли нельзя;
• гасится случайным порядком, карточкой с вариантами и коротким списком;
• тот же механизм искажает оценку длинного периода: год оценивают по последним неделям.

Вопросы и ответы

Что такое эффект новизны простыми словами?

Это когда из зачитанного вслух списка выбирают последние варианты, потому что они ещё держатся в памяти, а начало списка уже вытеснено. Содержание вариантов при этом ни при чём.

Чем эффект новизны отличается от эффекта первичности?

Условиями и причиной. Новизна работает на слух и держится на ограничениях памяти. Первичность работает при чтении глазами и держится на экономии усилий: респондент берёт первый подходящий вариант и дальше не читает.

От чего зависит сила эффекта новизны?

В первую очередь от длины списка. Три варианта помещаются в памяти целиком, и перекоса нет. С пяти-шести пунктов начало списка начинает теряться, на десяти оно практически выбывает из выбора.

Бывает ли эффект новизны в онлайн-опросе?

Почти нет. Варианты в веб-анкете видно, поэтому там выигрывают первые позиции. Исключение это голосовые сценарии и IVR, где варианты проговариваются.

Можно ли складывать результаты телефонного и онлайн-опроса?

Только с осторожностью. Каналы дают перекос в противоположные стороны, поэтому сводная доля зависит от их соотношения. Либо доля каналов фиксируется между волнами, либо результаты считаются по каждому каналу отдельно.

Помогает ли рандомизация от эффекта новизны?

Да, это основная мера. Случайный порядок превращает систематическую надбавку последним позициям в шум, распределённый по всем вариантам. Перемешивать не следует только порядковые шкалы и служебные варианты вроде «Затрудняюсь ответить».