Социальная желательность (Social Desirability Bias)

Социальная желательность это склонность отвечать так, как принято, а не так, как есть. Респондент завышает то, что одобряется, и занижает то, что осуждается, причём часто вполне искренне.

Это самый известный вид смещения ответов и единственный, который нельзя выключить хорошей формулировкой вопроса. Спрашивать приходится иначе.

Два разных механизма

Под одним названием живут две вещи, и лечатся они по-разному.

Различие практическое. Вопрос «вы читали пользовательское соглашение» упирается в первый механизм: люди помнят, что не читали, и говорят, что читали. Вопрос «насколько вы объективны при оценке подчинённых» упирается во второй: человек правда считает себя объективным, и никакая анонимность этого не изменит.

Как респонденты искажают свои ответы: подробный разбор

Где это стоит денег

Эффект кажется академическим, пока не столкнёшься с последствиями. Три типичных случая.

Первый: тестирование продукта, которого ещё нет. На вопрос «купили бы вы такое» люди отвечают щедро, потому что сказать «да» приятно и ничего не стоит. Заявленное намерение стабильно выше фактического спроса, и планировать по нему производство нельзя. Лечится вопросами о прошлом поведении вместо будущего: не «купили бы», а «сколько раз покупали похожее за год».

Второй: опросы про обучение и развитие. Доля тех, кто сообщает, что прошёл курс до конца, регулярно выше доли, которую показывает статистика платформы. Здесь честный ответ достаётся сверкой с фактическими данными, а не переформулировкой.

Третий: оценки руководителя от подчинённых. Если сотрудник понимает, что ответ можно связать с ним, оценка ползёт вверх независимо от реального положения дел.

Что усиливает

• присутствие живого интервьюера, особенно при личном разговоре;
• любая привязка ответа к личности: авторизация, корпоративная почта, номер сотрудника;
• тема, где есть очевидно правильный ответ: спорт, здоровье, чтение, экология, соблюдение правил;
• служебная иерархия, когда результаты может увидеть руководитель;
• Тема, где правильного ответа нет, эффекта почти не даёт: какой цвет упаковки вам нравится больше, никто приукрашивать не станет.

Способ сбора решает больше формулировки

Самое надёжное известное средство это убрать человека из процесса. Роберт Туранжо и Тинг Янь в обзоре 2007 года свели вместе методические эксперименты по чувствительным темам. По употреблению запрещённых веществ они нашли девять сравнений разных способов сбора, и все девять из девяти дали один результат: при самозаполнении люди сообщают о таком поведении чаще, чем при разговоре с интервьюером.

Для практики это переводится просто. Онлайн-анкета честнее телефонного интервью, телефонное интервью честнее личного, а личное интервью в присутствии коллег не стоит и запускать.

Как спросить о неудобном

Когда тема чувствительная, а данные нужны, работают косвенные приёмы.

1. Снизить цену признания. Вместо «вы нарушали регламент» спросить «как часто регламент мешает работать». Второй вопрос позволяет признаться, не признавая вины.
2. Спросить о других. «Как думаете, часто ли ваши коллеги обходят эту процедуру» собирает оценку распространённости без личного признания. Ответ смещён в свою сторону, но смещён предсказуемо.
3. Дать поведению нормальный фон. Формулировка «многие в такой ситуации поступают так, а как обычно делаете вы» снижает ощущение осуждения. Приём на грани: он же подталкивает к признанию тех, кто не нарушал.
4. Списочный эксперимент, если нужна цифра, а не направление.

Метод честный, но недешёвый: он требует вдвое большей выборки и даёт одну цифру вместо разреза по сегментам. Зато на действительно острых темах это единственный способ получить число, которому можно верить.

Опрос удовлетворённости сотрудников

Чего делать не стоит

Две привычные меры работают хуже, чем принято думать.

Первая это призыв отвечать честно во вступлении к анкете. Он не вредит, но и не помогает: человек, который собирается приукрасить, не меняет решения от просьбы. Тратить на это первый экран анкеты жалко.

Вторая это шкалы искренности, набор вопросов вроде «я никогда не опаздываю». Они ловят тех, кто отвечает слишком идеально, но у них своя беда: часть людей действительно не опаздывает, и они попадают под подозрение зря. В коротком продуктовом опросе такая шкала съедает место, которое лучше отдать содержательным вопросам.

Можно ли поправить цифру задним числом

Соблазн понятный: если известно, что доля завышена, вычесть поправку и жить дальше. Не выйдет, и по той же причине, по которой не выйдет с любым смещением: величина промаха неизвестна. Знай вы, что завышение составляет ровно восемь пунктов, вы бы уже знали правильный ответ.

Работает другое. Во-первых, сравнение с фактом там, где факт есть: заявленная частота покупок против выгрузки из базы заказов. Во-вторых, постоянство процедуры: если все волны собраны одинаково, искажение в них одинаковое, и динамика читается честно, даже когда абсолютный уровень завышен.

Второе правило часто важнее первого. Абсолютная доля довольных в 82% может быть завышена на десяток пунктов, но если она измеряется одинаково два года подряд, падение до 74% означает реальное падение.

Как это сделано в WebAsk

Анонимный сбор включается настройкой опроса, и это главное, что стоит сделать на чувствительной теме. Одной технической стороны мало: обещание анонимности нужно писать прямым текстом на первом экране, потому что респондент не может проверить настройки и судит по тому, что видит.

Обратная сторона: если в анкету подставляются данные из ссылки или человек заходит по персональному приглашению, называть опрос анонимным нельзя. Расхождение между обещанием и очевидным для респондента фактом бьёт по доверию сильнее, чем отсутствие обещания.

Для списочного эксперимента годится связка скрытого поля и логики: два варианта вопроса с разной длиной списка, случайное распределение между ними, а в отчёте сравнение средних по срезу.

И общая мера, которая помогает независимо от темы: открытый вопрос в конце. В закрытых вопросах человек выбирает социально приемлемый вариант, а в свободном тексте нередко пишет то, чего не отметил галочкой.

Коротко

• социальная желательность это ответ по норме вместо ответа по факту;
• внутри два механизма: сознательная правка и искренний самообман;
• анонимность снимает первый и бессильна против второго;
• способ сбора важнее формулировки: самозаполнение честнее интервью;
• косвенные вопросы позволяют признаться, не признавая;
• заявленное намерение купить всегда выше фактического спроса;
• списочный эксперимент даёт цифру ценой удвоенной выборки.

Вопросы и ответы

Что такое социальная желательность простыми словами?

Это когда человек отвечает так, как принято отвечать, а не так, как есть на самом деле. Хорошее преувеличивается, неодобряемое замалчивается, причём часто без всякого умысла.

Помогает ли анонимность?

Помогает против сознательной правки ответа, когда человек знает правду и скрывает её. Против самообмана она бессильна: тот, кто искренне считает себя объективным, ответит так же и анонимно.

Какой способ опроса даёт более честные ответы?

Самозаполнение. В обзоре Туранжо и Янь 2007 года по употреблению запрещённых веществ все девять найденных сравнений показали более высокие цифры при самостоятельном заполнении, чем при разговоре с интервьюером.

Как спрашивать о неудобных вещах?

Косвенно: снизить цену признания, спросить об окружающих вместо самого человека, дать поведению нормальный фон. Когда нужна точная доля, применяют списочный эксперимент.

Что такое списочный эксперимент?

Приём, при котором одна половина выборки получает список из нескольких безобидных утверждений, а вторая тот же список плюс чувствительное. Респондент называет только число утверждений, с которыми согласен. Разность средних между половинами и есть искомая доля.

Почему после перехода на анонимный опрос оценки упали?

Скорее всего, они не упали, а перестали быть завышенными. Снятие привязки ответа к человеку убирает искажение, и цифры становятся ближе к реальности. Такую волну помечают в отчёте как точку разрыва ряда.