Как респонденты искажают свои ответы: подробный разбор

Бизнес тратит много сил, чтобы выявить интересы и слабости своей аудитории, собрать мнения и обратную связь о качестве услуг или товаров, провести анализ общих тенденций и пр. Но насколько можно доверять такой информации? Кто сказал, что респонденты вам не врут и не вводят в заблуждение? Вдруг они говорят то, что вы хотите от них услышать или просто дают ответы наобум, лишь бы получить обещанный лид-магнит?

Такая вероятность существует, и она весьма большая. В некоторых вопросах, особенно личных, респонденты говорят неправду умышленно, а где-то просто неверно понимают смысл вопроса (его контекст). Итог один – бизнес получает искажённые ответы, соответственно, выводы, сделанные на основе таких данных, будут неправильными.

Итак, давайте глубже погрузимся в тему искажения ответов.

Что такое искажение ответов респондентами и чем это чревато?

Искажение ответов респондентами – это явление, которое подразумевает, что участники исследования намеренно или непреднамеренно дают неправильные ответы и предоставляют неверную или искажённую информацию/данные.

Причины таких искажений могут быть разными, мы расскажем о них ниже. Но итог всегда один – получение некорректных данных для последующего анализа.

Любые исследования, особенно маркетинговые, нужны для принятия тех или иных управленческих решений. Например, для расширения или изменения ассортимента, для правильного позиционирования на фоне конкурентов, для выхода на новые рынки и в новые ниши, для выявления точек давления (влияния) у целевой аудитории и т.п.

Любая ошибка здесь может привести к неприятным последствиям. Например, неверно проанализированный сегмент рынка и попытка расширения производства может обернуться провалом и привести к существенным потерям бизнеса: на закупку нового оборудования, на поиск и адаптацию нового персонала, на дополнительные рекламные бюджеты и пр.

В связи с этим любое исследование должно проходить проверку на адекватность и на достоверность полученных данных. Для реализации этого принципа задействуются различные механики, о них тоже ниже.

Почему люди врут?

Кто-то врёт по привычке, а кто-то даёт неверную информацию осознанно, преследуя свои личные цели, например, цели безопасности и конфиденциальности. Вот лично вы будете сообщать первому встречному свой номер телефона или данные банковской карточки? Конечно же нет.

Что ещё может заставить человека соврать или ответить на вопрос неверно?

Основные причины некорректных ответов респондентов:

• Влияние интервьюера (того, кто опрашивает респондента). Наиболее частая проблема – авторитет собеседника и наличие своей собственной позиции (взгляда на обсуждаемые вопросы). Опрашиваемый человек просто не хочет никого обидеть или на бессознательном уровне подражает действиям/стилю общения интервьюера. Иногда интервьюер так задаёт вопросы, что на них не хочется отвечать честно. Например, может разгореться спор или наметиться конфликтная ситуация. Интервьюер может подталкивать респондента к «правильным» ответам. Вместе с тем, только личное общение может помочь в некоторых ситуациях, когда не справляются другие типы опросов и исследований.
• Сложные или непонятные вопросы. Буквально одного незнакомого слова или профессионального термина может быть достаточно для того, чтобы человек перестал понимать о чём идёт речь. Непонимание вопроса автоматически приводит к искажению ответа. Причём виноватым в искажении будет не респондент, а тот, кто составлял вопросы. Сюда же можно отнести семантически неверно сформулированные вопросы и вопросы, вводящие в заблуждение.
• Желание завысить или занизить свои достижения. Делается это человеком намеренно, чтобы избежать потенциальных последствий (или достичь других целей). Люди умеют моделировать разные ситуации и делают это достаточно часто, причём не всегда к месту. Так, респондент может опасаться наказаний последствиями за свои ответы. Например, его могут депремировать за реальное положение дел на рабочем месте или наоборот, начать нахваливать (при этом человеку может быть неприятно находиться в центре внимания) и т.п. Желание намеренно завысить свои достижения часто связывают с «синдромом павлина», когда человек хочет похвастаться чем-то перед другими.
• Желание повысить свою безопасность. Принцип во многом схож с предыдущим, только срабатывает на уровне инстинкта самосохранения. Когда у человека возникают опасения по поводу последствий, он автоматически выдумывает неправду, чтобы прикрыть тылы. Так, он может предоставить несуществующие контактные данные, намеренно добавить ошибку в номере телефона и т.д.
• Желание получить выгоду. Чаще всего намеренный обман происходит ради получения чего-то полезного. Примерно, как в случае с опросами и формами, использующими различные лид-магниты. Если человеку нужен подарок, он пройдёт опрос или тест ради галочки, лишь бы получить подарок и уйти. Происходит процесс, который обычно называют «обманом системы».
• Отсутствие желания/мотивации. Ещё одна веская причина пройти опрос или тестирование «для галочки». Если респондент не хочет проходить анкетирование, но оно критически необходимо, например, является обязательным, то вероятность честных ответов будет достаточно низкой.
• Отсутствие предметных/профильных знаний. Этот пункт сильно перекликается со сложными и непонятными вопросами. И там, и тут основная проблема – отсутствие знаний по теме. Чтобы не показаться глупым, человек «выдумывает» ответ или проставляет ответ наугад.
• Искажения субъективного восприятия. Человек может по-своему понять вопрос или дать ответ исходя из личного опыта/мировосприятия. В некоторых типах вопросов субъективные искажения могут быть критическими. Например, человек может обманывать сам себя или убеждать в чём-то (в истинности отдельных утверждений). Тест на правдивость: на сколько лет вы выглядите?
• Влияние общественного мнения и другие бессознательные факторы. Ответы по отдельным темам, особенно по тем, что находятся у всех на слуху (в тренде), могут «подстраиваться» под поведение большинства. Это уже явление не столько психологии, сколько социологии. Часть ответов может стимулироваться особенностями характера и темперамента личности, искажая правду.
• Текущее эмоциональное состояние. Например, если человеку не довезли товар, привезли с браком, обманули или иным образом обидели, то в таком состоянии на вопрос об отношении к компании/бренду (как в случае с оценкой удовлетворённости или с NPS-опросами), клиент ответит максимально негативно. Точно также может быть и с другими типами исследований.

Что ещё может влиять на результаты опросов?

Так как у каждого опроса и исследования есть заказчик (инициатор или спонсор), то у него обязательно будут свои интересы.

Не учитывать эти интересы исполнитель не может. Соответственно, могут искажаться или подтасовываться результаты, так, чтобы они больше устраивали заказчика и не приводили к его негативной реакции. Так бывает и часто.

Не менее важен профессионализм агентства (интервьюера), разрабатывающего анкету и вопросы для исследования. От грамотности и правильности формулировок, от простоты понимания их смысла, от времени, необходимого для проведения исследования, а также от критериев выбора целевой группы и от некоторых других факторов будут зависеть и результаты ответов респондентов.

Особое внимание при исследованиях нужно уделять правильности выборки – её охвату и смещению.

Невозможно взять и опросить абсолютно всех клиентов. У кого-то будут срочные дела, кто-то просто не захочет участвовать в опросе, кому-то не понравятся вопросы или формат исследования. Так или иначе, исследование проводится только в определённом сегменте аудитории (например, могут браться в работу только фокус-группы). При этом результаты анализа ответов будут распространяться на всю аудиторию – они будут обобщены и масштабированы.

Но между фокус-группой и всей целевой аудиторией может быть колоссальная разница.

Как можно повысить достоверность опросов и снизить влияние искажений?

Для снижения эффекта искажения опросов респондентами используются разные подходы. К наиболее популярным можно отнести следующие:

• Использование специальных контрольных вопросов, относительно которых сравнивается изменение мнения. Чаще всего к этому приёму прибегают в случае сильного масштабирования ответов, то есть при серьёзных социологических опросах. Простой пример, ВЦИОМ исследует мнение относительно предстоящих политических выборов в стране. Опросить все регионы и города, всех людей просто невозможно. Но можно проанализировать итоги прошлых выборов и наложить на них изменения в контрольной группе. Так, у человека выясняется, как он голосовал на прошлых выборах и как он будет голосовать на новых. «Разность» мнений (смена ответов) ляжет в основу векторов изменения (будет добавлять разные веса при корректировке данных предыдущих более достоверных опросов).
• Повторение вопроса в анкете с использованием разных формулировок. Такой подход позволяет достовернее выяснить отношение человека к исследуемой теме. Если ответы осознаны и правдивы, то они будут совпадать, как ты не спроси. Но если ответы будут отличаться, значит либо респондент лукавит, либо не понимает смысла вопроса, либо отвечает наугад. Недостаток подхода – существенное увеличение списка вопросов и времени на заполнение анкеты.
• Правильная подготовка к исследованию. Респонденту разъясняется цель и порядок проведения опроса. Желательно показать и доказать безопасность честных ответов. Не стоит использовать фото и видеофиксацию интервью, нежелательно персонализировать ответы.
• Использование ответов для выявления непонимания. Например, если респонденту нужно выбрать один из предложенных вариантов, то в списке готовых ответов должен быть вариант вида «затрудняюсь ответить» или аналог.
• Упрощение формулировок. Нужно избегать использования узких и сложных терминов, редко употребляемых слов, двойственности трактования. Желательно проверять адекватность вопросов на небольших контрольных группах и выявлять все шероховатости. Соответственно, распространение опроса на полную аудиторию уже будет производиться в исправленном виде.
• Снижение времени прохождения опроса (сокращение списка вопросов). Если за один приём невозможно осилить сразу все вопросы, их желательно разбить на несколько мелких исследований. Основная задача – вписаться в условия, которые для респондентов будут считаться комфортными. Только в этом случае желание отвечать честно будет сохраняться. Например, не стоит ставить жесткие временные рамки или требовать ответ немедленно. Правда, тут всё зависит от ситуации и от целей исследования.
• Выборка респондентов по заранее обозначенным критериям. Иными словами, фокус-группа формируется из вашей потенциальной аудитории и будет максимально соответствовать целям исследования. Все возможные искажения изначально будут находиться в рамках допустимых отклонений. Такой подход возможен, в частности, при задействовании инструментов таргетирования (например, в системах рекламных объявлений, которые показываются на основе заданных критериев и интересов пользователей).
• Использование предварительных психографических исследований. Это когда вы сначала изучаете свою аудиторию и только потом проводите опросы по отдельным интересующим вас вопросам. Подробнее о психографических опросах в бизнесе.

Обратите внимание, использование «средств защиты» неизбежно приводит к усложнению опросов. Что в свою очередь будет приводить к удорожанию исследований и к уменьшению желания отвечать честно.

Простой и наглядный пример – разница между CSI-индексом и простыми CSat-опросами. С одной стороны, исследуется одно и тоже, но разница в сложности и в желании отвечать значительная.

Выводы и рекомендации

Как итог, чтобы снизить вероятность искажения ответов респондентами, нужно использовать простые и понятные формулировки (без двойных отрицаний, без сложных терминов, двусмысленности и неоднозначности), при выставлении оценок обязательно описывать значения на шкале, оптимизировать время исследования.

Добавление контрольных вопросов значительно усложняет опрос, но в некоторых случаях это действительно может быть оправданно.

Не менее важно работать со стимулированием. Тут легко перегнуть палку, причём в обе стороны, в сторону излишней мотивации или в сторону её недостаточности.

Опросы желательно отслеживать в динамике и сравнивать с результатами контрольных групп, а также с результатами ранее проведённых исследований. Так вы сможете нивелировать адекватность выборки.

Для избегания предвзятости и влияния интервьюера, опросы желательно проводить в электронном виде или с использованием онлайн-инструментов, таких как WebAsk.