Смещение ответов (Response Bias)

Смещение ответов это разница между тем, что респондент думает, и тем, что он отметил в анкете. Человек доступен, вопрос понятен, ответ получен, и всё равно он не про реальность.

Это один из четырёх источников смещения в опросе, самый близкий к исследователю: возникает он уже после того, как человек согласился отвечать, поэтому его видно в собранных данных. Остальные источники прячутся снаружи.

Из чего складывается

Под одним названием собрано несколько разных механизмов. Разбирать их поодиночке смысла нет, у каждого своя карточка, а вот держать перед глазами общий список полезно.

Механизм	Как выглядит	Что провоцирует
Социальная желательность	отвечают как принято, а не как есть	чувствительная тема, неанонимность
Эффект согласия	соглашаются с любым утверждением	шкала согласия, длинная матрица
Центральная тенденция	жмут середину шкалы	нечётное число делений, усталость
Эффект первичности	берут первый подходящий вариант	длинный список
Экономия усилий	отвечают лишь бы отстать	длинная анкета без стимула

Общее у них одно: добросовестный ответ требует работы, а неаккуратный не требует. Всё, что повышает цену внимательного ответа, повышает и смещение.

Следы в выгрузке

Полезное свойство смещения ответов в том, что часть его остаётся в данных. Другие виды смещения приходится ловить внешними сверками, а этот виден в самой выгрузке.

Четыре признака, по которым отбирают анкеты на перепроверку.

1. Прямая линия в матрице. Респондент отметил один и тот же столбец во всех строках. На матрице из трёх строк это может быть правдой, на матрице из десяти почти наверняка нет, особенно если среди утверждений были противоположные по смыслу.
2. Слишком быстрое прохождение. Рабочий порог, которым пользуются на практике: меньше трети медианного времени по анкете. Если медиана шесть минут, а человек уложился в полторы, читать он не мог.
3. Открытые ответы вида «нормально», «всё хорошо», «-» и пустая строка из пробелов. Один такой ответ ничего не значит, но если у респондента все открытые поля такие, остальные его ответы тоже стоит посмотреть.
4. Противоречие между связанными вопросами. Человек ставит 9 из 10 в оценке и одновременно отмечает, что не будет рекомендовать. Такие пары в анкету закладывают специально.

Ловушка перевёрнутого утверждения

Как собрать шкалу Лайкерта, которую потом можно посчитать

Приём против эффекта согласия выглядит красиво: в матрицу вставляют утверждение, противоположное по смыслу соседним. Кто соглашается со всем подряд, соглашается и с ним, и это видно.

На практике приём работает хуже, чем обещает. Отрицание в утверждении заметно усложняет чтение, и часть респондентов спотыкается о него честно, без всякой небрежности. Пара «Поддержка отвечает быстро» и «Поддержка отвечает медленно» читается легко. Пара «Поддержка отвечает быстро» и «Мне не приходилось долго ждать ответа поддержки» уже требует разобрать двойное отрицание в уме.

Практическое правило: перевёрнутое утверждение должно быть прямым, коротким и без частицы «не». Одного такого пункта на матрицу хватает, два уже начинают ломать данные тем, кто отвечает добросовестно.

Сколько выбрасывать

Тут легко перестараться. Чистка это тоже вмешательство в данные, и если фильтр отсекает пятую часть выборки, вы получаете новый отбор поверх старого: остаются те, кто отвечал внимательно, а это уже другая аудитория.

Разумный порядок такой. Сначала считается, сколько анкет попадает под фильтр. Доля в пределах пяти процентов это обычный фон, его убирают спокойно. Доля под двадцать процентов означает, что проблема не в отдельных людях, а в анкете: она длинная, скучная или непонятная, и чистка тут лечит симптом.

Как респонденты искажают свои ответы: подробный разбор

Что уменьшает смещение на этапе сборки

• короткая анкета. Самая действенная мера, потому что она бьёт по причине, а не по следствию;
• матрицы не длиннее пяти-шести строк, иначе прямая линия появляется сама собой;
• перевёрнутые утверждения внутри матрицы, чтобы согласие со всем подряд стало заметным;
• анонимность там, где тема чувствительная, и явное обещание, что ответы не свяжут с человеком;
• Обещание анонимности при работающей авторизации по ссылке из письма вредит сильнее, чем её отсутствие: респондент видит несоответствие и перестаёт верить всей анкете.

Ещё одна мера, о которой забывают: показывать прогресс. Респондент, который не знает, сколько осталось, начинает торопиться примерно с середины анкеты. Полоса прогресса стоит копейки и заметно ровнее распределяет внимание по второй половине опросника.

Отдельно про стимулы. Подарок за прохождение поднимает конверсию, но приводит людей, которым нужен подарок, а не разговор. Смещение ответов при этом обычно растёт: отвечают быстрее и небрежнее. Если стимул нужен, разумно закладывать и более строгую чистку.

Когда прямая линия честная

Стоит помнить, что часть флагов срабатывает на нормальных людях, и чем строже фильтр, тем чаще.

Респондент, у которого с продуктом всё хорошо, честно поставит высокую оценку по всем строкам матрицы. Клиент, пользующийся сервисом два года, пройдёт анкету быстрее новичка, потому что ему не надо вчитываться в названия функций. Оба попадут под фильтр, и оба ответили честно.

Поэтому чистка идёт по совокупности, а не по одному признаку, и всегда с подсчётом: сколько анкет ушло, чем эти люди отличались от оставшихся по полу, возрасту, каналу. Если удалённые заметно отличаются, вы не почистили данные, а сместили их ещё раз.

Как это сделано в WebAsk

Время прохождения записывается по каждому ответу, и в выгрузке оно есть. Отсюда получается рабочий приём: посчитать медиану по колонке времени, взять треть от неё и посмотреть, кто уложился быстрее.

Матричный вопрос удобно проверять прямо в выгрузке CSV или XLSX: строки матрицы лежат соседними колонками, и одинаковые значения по всему ряду видно сортировкой.

Контрольную пару вопросов приходится закладывать заранее, автоматически она не появится. Простой вариант: оценка удовлетворённости в начале анкеты и готовность рекомендовать в конце. Люди, у которых эти два ответа расходятся на противоположные концы шкалы, и есть кандидаты на проверку.

И то, что не решается настройками: анкета на сорок вопросов даст смещение при любых мерах. Сокращение опросника работает лучше всех фильтров вместе взятых.

Коротко

• смещение ответов это разрыв между тем, что человек думает, и тем, что отметил;
• в отличие от прочих видов смещения, часть его видна прямо в выгрузке;
• четыре следа: прямая линия в матрице, слишком быстрое прохождение, пустые открытые ответы, противоречия между связанными вопросами;
• рабочий порог по времени это треть медианы;
• по одному флагу анкеты не выбрасывают, смотрят совокупность;
• если под фильтр попадает больше пятнадцати процентов, чинить надо анкету, а не данные.

Вопросы и ответы

Что такое смещение ответов простыми словами?

Это когда респондент отвечает не то, что думает: приукрашивает, соглашается со всем подряд, жмёт середину шкалы или отвечает лишь бы закончить. Ответ получен, но реальности он не отражает.

Чем смещение ответов отличается от предвзятости вообще?

Предвзятость это общий термин для систематической ошибки, у неё четыре источника. Смещение ответов один из них, тот, что возникает на стороне отвечающего человека.

Как найти смещение ответов в данных опроса?

По четырём следам: одинаковый ответ во всех строках матрицы, время прохождения меньше трети медианного, однотипные пустые открытые ответы и противоречия между связанными вопросами.

Можно ли удалять подозрительные анкеты?

Можно, если флагов сошлось несколько и доля таких анкет невелика. Если под фильтр попадает больше пятнадцати процентов выборки, удаление создаёт новый перекос, и правильнее переделывать анкету.

Какое время прохождения считать слишком быстрым?

Практический порог это треть медианного времени по вашей же анкете. Абсолютных значений не бывает: пятиминутный опрос и получасовой дают разные медианы.

Что сильнее всего уменьшает смещение ответов?

Сокращение анкеты. Все остальные меры, от коротких матриц до перевёрнутых утверждений, работают вокруг одной причины: чем дороже респонденту отвечать внимательно, тем чаще он отвечает небрежно.