Предвзятость (Bias)

Предвзятость это систематическое отклонение результата от истины. Ключевое слово систематическое: ошибка повторяется от замера к замеру в одну и ту же сторону, а не пляшет вокруг верного значения.

Термин в русских текстах встречается в двух видах, «предвзятость» и «смещение». Второй точнее: речь не о чьём-то предубеждении, а о свойстве процедуры. Опрос может быть смещённым, даже если все участники предельно честны.

Смещение и разброс

Любой замер по выборке промахивается мимо истины, и промах складывается из двух частей. Первая случайная: вы опросили этих людей, а не тех, и получили чуть другое число. Вторая систематическая: сама процедура тянет ответ в определённую сторону.

Опаснее всего левая нижняя мишень. Показатель стабилен, повторные замеры сходятся, отчёт выглядит надёжно, и именно поэтому никто не проверяет, куда он сходится.

Почему больше ответов не спасает

Здесь лежит главное практическое следствие, и его регулярно упускают. Случайная ошибка падает с ростом выборки, а смещение не падает вообще.

Чтобы уменьшить погрешность выборки вдвое, выборку надо увеличить вчетверо. Работает безотказно. Но если анкета завышает долю довольных на пять пунктов, она завышает её на пять пунктов и при ста ответах, и при ста тысячах. Разница лишь в том, что во втором случае неверная цифра будет выглядеть убедительнее.

Четыре точки, где входит смещение

В разделе разобрано с десяток частных видов смещения. Все они укладываются в четыре источника, и по источнику удобно искать причину.

1. Кого спросили. В выборку попадают не те люди или не все, кого позвали. Сюда относятся смещение отбора, смещение неответа и смещение выжившего.
2. Чем спросили. Смещение приносит сам инструмент: наводящий вопрос, эффект фрейминга, эффект первичности, неудачная шкала.
3. Как ответили. Респондент отвечает не то, что думает: сюда собраны смещения ответов, от социальной желательности до эффекта согласия.
4. Что сделали с данными. Последняя точка самая незаметная, потому что тут смещение вносит аналитик: предвзятость подтверждения при выборе среза и подгонка выводов под ожидание.

Как это выглядит на числах

Размер выборки и доверительный интервал для опросов

Пример, который повторяется в каждой второй рассылке. База 10 000 клиентов, активных из них 2 000, то есть каждый пятый. Опрос удовлетворённости ушёл всем, ответили 400 человек: 300 активных и 100 остальных.

Активные ставят в среднем 8,5, остальные 5,5. Считаем два числа:

Промах в полтора балла из десяти, и никакой случайности в нём нет: активные охотнее отвечают, поэтому в выборке их 75% вместо 20%. Добор ещё четырёхсот ответов даст тот же перекос и то же завышение, только с более узким доверительным интервалом вокруг неверного числа.

Здесь же видно, чем такой случай лечится. Доли групп в базе известны, значит ответам можно назначить веса: каждый ответ неактивного клиента считать за троих, активного за четверть. Взвешенное среднее возвращается к 6,10. Приём называется перевзвешиванием, и работает он только при одном условии: вы знаете истинную структуру базы. Против неизвестного перекоса весов не подберёшь.

Как обнаружить смещение

Неприятная особенность: изнутри данных смещение не видно. У вас нет колец мишени, есть только точки. Поэтому все способы обнаружения опираются на что-то внешнее.

• сверка с фактом: доля тех, кто заявил о покупке за месяц, против реального числа заказов в базе;
• сверка с известной структурой: если среди клиентов 60% мужчин, а в выборке 30%, отбор смещён;
• сравнение каналов набора: пришедшие из письма и из баннера дали разные цифры, значит работает отбор, а не мнение;
• расщепление выборки на две версии анкеты, чтобы поймать вклад формулировки;
• Рост выборки в этом списке отсутствует не случайно: он не помогает обнаружить смещение и не уменьшает его.

Полезная привычка: до сбора данных записать, какого результата вы ждёте. Расхождение с ожиданием потом становится сигналом, а без записи оно превращается в задним числом придуманное объяснение.

Смещение, которое остаётся

Часть перекосов убрать нельзя в принципе. Опрос идёт среди тех, кто согласился отвечать, и человек, принципиально не отвечающий на опросы, в данные не попадёт никогда. Это не повод не мерить, это повод не молчать.

Рабочая практика простая: в отчёт добавляется абзац о том, кого спрашивали, сколько позвали и сколько ответило, каким каналом и что осталось за кадром. Три-четыре предложения. Они не делают цифру точнее, но задают читателю правильную рамку, а вам через полгода напоминают, почему весенняя волна не сравнима с осенней.

Отдельно стоит фиксировать долю ответивших. Она сама по себе индикатор: если из тысячи приглашённых ответили сорок, вопрос уже не в погрешности, а в том, чем эти сорок отличаются от остальных.

Смещение и ошибки в статистике

Термин «смещение» встречается и в статистических формулах, но означает там другое, и путать их не стоит. Смещённая оценка это оценка, которая в среднем по всем возможным выборкам отличается от истинного значения параметра. Классический пример это деление на n вместо n − 1 при расчёте дисперсии.

Разница практическая. Смещение оценки устраняется формулой, потому что известно, куда и насколько она врёт. Смещение опроса формулой не устраняется, потому что величина промаха неизвестна: знай вы её, поправку внесли бы сразу.

Как респонденты искажают свои ответы: подробный разбор

Как это сделано в WebAsk

Смещение это свойство того, как собран опрос, поэтому кнопки против него не существует. Но три вещи в платформе прямо влияют на четыре источника выше.

Скрытые поля записывают, откуда пришёл респондент. Это главный инструмент против смещения отбора: если разбить отчёт по каналу и увидеть расхождение, вы поймали проблему до того, как она попала в презентацию.

Случайный порядок вариантов и логика показа снимают часть инструментального смещения. А число ответов под каждой долей в сводке защищает от самой распространённой ошибки чтения, когда яркий процент оказывается посчитанным по семи людям.

И то, чего платформа не сделает: она не знает, кто до анкеты не дошёл. Люди, закрывшие письмо не читая, в отчёт не попадают ни в каком виде, а именно они чаще всего и отличаются от ответивших.

Коротко

• смещение это систематический промах, повторяющийся от замера к замеру;
• случайная ошибка лечится размером выборки, смещение нет;
• чтобы вдвое уменьшить погрешность, выборку увеличивают вчетверо, на смещение это не влияет никак;
• источников четыре: кого спросили, чем спросили, как ответили, что сделали с данными;
• изнутри данных смещение не видно, нужен внешний ориентир;
• известный перекос лечится взвешиванием, неизвестный ничем;
• стабильный показатель может быть стабильно неверным.

Вопросы и ответы

Чем предвзятость отличается от случайной ошибки?

Направлением. Случайная ошибка колеблется вокруг истинного значения и в среднем себя гасит. Смещение уводит результат в одну сторону и с ростом числа ответов никуда не девается.

Поможет ли увеличение выборки убрать предвзятость?

Нет. Больше ответов уменьшает разброс, но не сдвигает результат к истине. Если процедура завышает долю на пять пунктов, она завышает её при любом размере выборки.

Какие бывают виды предвзятости в опросах?

Их удобно делить по источнику: смещение выборки (отбор, неответ, выжившие), инструментальное (формулировка, шкала, порядок вариантов), смещение ответов (социальная желательность, эффект согласия) и смещение анализа (подбор среза под гипотезу).

Как понять, что в результатах есть смещение?

Только сверкой с чем-то внешним: с фактическими данными компании, с известной структурой аудитории, с результатами по другому каналу набора. По самим ответам смещение не определяется.

Предвзятость и смещение это одно и то же?

Да, это два перевода одного термина bias. «Смещение» точнее передаёт смысл: речь о свойстве процедуры, а не о предубеждении конкретного человека.

Можно ли полностью убрать смещение?

Полностью нет, любой опрос устроен как-то и этим что-то искажает. Реальная задача в том, чтобы знать свои источники смещения, держать их постоянными между волнами и учитывать при чтении результатов.