Формулировки вопросов для опроса: 12 ловушек и как их переписать

Замените в вопросе «столкнулись» на «врезались», и люди назовут скорость на девять миль в час выше. Машины на видео при этом будут те же самые.

Это не про красоту языка, а про то, что формулировка становится частью ответа. Разберём двенадцать ловушек, в которые попадают чаще всего, и покажем на каждую переписанный вариант. Плюс короткий протокол проверки анкеты до запуска, потому что дешевле поймать всё это до рассылки, чем объяснять потом, почему данные странные.

Если удобнее слушать, Татьяна Жукова из WebAsk разбирает основные правила в видео. Дальше в тексте то же самое подробнее: двенадцать ловушек, каждая с примером до и после.

Одно слово меняет ответ

Классический эксперимент, который стоит знать всем, кто пишет анкеты. Лофтус и Палмер в 1974 году показали сорока пяти студентам одни и те же записи автомобильных аварий и спросили, с какой скоростью двигались машины. Различался ровно один глагол в вопросе.

Средние оценки разошлись так: при слове «врезались» около 41 мили в час, «столкнулись» 39, «ударились» 37, «задели» 34, «коснулись» 32. Разница между крайними вариантами девять миль в час, и создана она одним словом.

Второй результат того же опыта ещё интереснее. Через неделю участников спросили, видели ли они на записи разбитое стекло. Стекла на записи не было. В группе со словом «врезались» его «вспомнили» 32%, в группе со словом «ударились» 14%. То есть формулировка сместила оценку и вдобавок создала воспоминание.

Двенадцать ловушек

Дальше по одной, каждая с примером и переписанным вариантом.

1. Наводящий вопрос

Самая частая. В формулировку встроен ожидаемый ответ, и человек соглашается, потому что спорить неудобно.

Было: Насколько вам понравился наш обновлённый удобный личный кабинет?
Стало: Как вы оцениваете обновлённый личный кабинет по шкале от 1 до 5?

2. Два вопроса в одном

Если в формулировке есть союз «и», проверьте, не склеены ли там две разные оценки. Ответ будет один, а спрашивали вы про два разных.

Было: Довольны ли вы скоростью и качеством доставки?
Стало: Два отдельных вопроса про скорость и про качество.

3. Оценочная лексика в утверждении

Слова «эффективный», «важный», «полезный», «современный» внутри вопроса задают ответ так же, как «врезались» в эксперименте выше.

Было: Согласны ли вы, что регулярная обратная связь помогает сотруднику расти?
Стало: Как часто вы получаете обратную связь от руководителя? И отдельно: насколько она вам полезна?

4. Подсказка в вариантах ответа

Формулировка нейтральная, а варианты подобраны так, что один явно «правильный». Работает как наводящий вопрос, только менее заметно.

Было: Варианты «полностью устраивает», «в целом устраивает», «скорее устраивает», «не устраивает».
Стало: Симметричный набор: два варианта в плюс, два в минус, при необходимости середина.

5. Несбалансированная шкала

Родственник предыдущей ловушки, но встречается даже там, где никто не хитрил. Привычная школьная шкала «отлично, хорошо, удовлетворительно, плохо» сдвинута в плюс: три деления выше середины и одно ниже.

Было: Отлично, хорошо, удовлетворительно, плохо.
Стало: Шкала от 1 до 5 с подписанными краями, либо симметричный набор словами.

6. Нет периода, о котором спрашивают

«Часто» у каждого своё. Без периода вы собираете не поведение, а самооценку.

Было: Как часто вы пользуетесь сервисом?
Стало: Сколько раз вы заходили в сервис за последние семь дней?

7. Слишком долгий период

Обратная крайность. Человек честно не помнит, что было год назад, и назовёт правдоподобное число вместо настоящего.

Было: Сколько раз за год вы обращались в поддержку?
Стало: Обращались ли вы в поддержку за последний месяц? Если да, сколько раз примерно?

8. Жаргон и аббревиатуры

Внутренние слова компании и профессиональные термины респондент либо не понимает, либо понимает по-своему. Проверяется просто: услышал бы это ваш клиент от друга.

Было: Оцените удобство онбординга в личном кабинете.
Стало: Насколько понятно было разобраться в личном кабинете в первый раз?

9. Двойное отрицание

Человек тратит силы на разбор конструкции вместо ответа и в половине случаев отвечает наоборот.

Было: Не считаете ли вы, что не стоит убирать бумажные отчёты?
Стало: Нужно ли сохранить бумажные отчёты?

10. Вопрос о будущем поведении

«Купите ли вы» и «порекомендуете ли» меряют намерение, а не действие. Люди систематически переоценивают собственную будущую активность, поэтому такие ответы годятся для сравнения вариантов между собой, но не как прогноз в штуках.

Было: Будете ли вы пользоваться новой функцией?
Стало: Опишите последний случай, когда вам понадобилось то, что делает эта функция. Как вы решали задачу тогда?

11. Неполный список вариантов

Если подходящего варианта нет, человек выберет любой или закроет анкету. И то и другое портит данные, но первое портит незаметно.

Было: Закрытый список из пяти пунктов без запасного варианта.
Стало: Тот же список плюс «другое» с полем для ввода. И проверка, что варианты не пересекаются между собой.

12. Вопрос не тому человеку

Спрашивать рядового сотрудника про бюджет отдела, а клиента про то, как устроены ваши внутренние процессы, бессмысленно. Ответ вы получите, но он будет догадкой.

Было: Насколько эффективно в компании выстроен процесс адаптации?
Стало: Что вам помогло в первые недели работы, а чего не хватило?

Виды опросов и типы вопросов: как выбрать под задачу

Почему двойной вопрос опаснее остальных

Из всех двенадцати эта ловушка стоит отдельного разбора, потому что она портит данные необратимо и незаметно.

Возьмём вопрос про скорость и качество доставки с оценкой от 1 до 5. Человек, которому привезли быстро, но не то, поставит тройку. Тот же балл поставит человек, которому привезли правильный товар, но с опозданием на неделю. И тот, у кого всё было средне.

В отчёте вы увидите одну цифру и не сможете разделить эти случаи никаким анализом: информация не потеряна, она не была собрана. Разделять надо до запуска, потому что после сбора данные уже не расклеиваются.

Проверка на двойной вопрос занимает секунду: если в формулировке есть «и», «а также» или запятая между двумя существительными, скорее всего перед вами два вопроса.

Как ловить их на скорость

Все двенадцать держать в голове не нужно. Достаточно пробежать анкету глазами и искать слова-маркеры: почти каждая ловушка выдаёт себя конкретным словом.

Что видите в формулировке	Какую ловушку проверять	Что делать
союз «и» между двумя предметами	два вопроса в одном	разделить на два
«часто», «регулярно», «обычно»	нет периода	назвать срок в днях или неделях
«за год», «за всё время»	слишком долгий период	сократить до месяца
«удобный», «полезный», «эффективный»	оценочная лексика	убрать прилагательное
«согласны ли вы, что…»	наводящий вопрос	переписать нейтрально
«не» дважды в одном предложении	двойное отрицание	сформулировать утвердительно
«будете ли вы», «планируете ли»	вопрос о будущем	спросить о прошлом опыте
аббревиатура или внутренний термин	жаргон	сказать словами клиента
в вариантах больше плюсов, чем минусов	несбалансированная шкала	уравнять стороны
закрытый список без «другое»	неполный список	добавить запасной вариант

Порядок вопросов тоже меняет ответы

Двенадцать ловушек выше про отдельные формулировки. Но даже безупречно написанные вопросы дают разный результат в зависимости от того, в каком порядке стоят.

Предыдущий вопрос задаёт рамку. Если сначала спросить, что человека раздражает в сервисе, а следом попросить общую оценку, она выйдет ниже, чем если задать те же вопросы в обратном порядке. Человек только что вспомнил претензии, и они у него перед глазами. Это не искажение чьей-то памяти, это нормальная работа внимания, и учитывать её надо при сборке анкеты.

Общий вопрос идёт раньше частных. Отсюда практическое правило: если вам нужна и общая оценка, и разбор по частям, спрашивайте общую первой. Иначе она превратится в среднее от того, что человек только что перечислял, а не в то, что он на самом деле думает о продукте в целом.

Демография идёт в конец. Возраст, доход и должность в начале анкеты работают как проверка на входе: человек ещё не понял, зачем всё это, а у него уже спрашивают личное. Плюс эти вопросы включают режим осторожности, который потом влияет на остальные ответы. Единственное исключение это отсеивающие вопросы, без которых анкету незачем показывать дальше.

Похожее лучше держать вместе, но не подряд одинаковым. Блок из десяти утверждений с одной и той же шкалой подряд провоцирует отвечать по прямой, не читая. Разбавьте его вопросом другого типа в середине или разнесите на две части.

Порядок вариантов внутри вопроса тоже работает. В длинном списке чаще выбирают первые позиции просто потому, что до конца доходят не все. Если список длиннее пяти-шести пунктов и порядок в нём не смысловой, включайте случайную перестановку. Исключение это варианты, у которых есть естественный порядок: шкалы, диапазоны, возраст.

Как проверить анкету до запуска

Четыре приёма, каждый занимает минуты и ловит разное.

Прочитайте вслух. Звучит наивно, но ловит больше всего. Двойные отрицания, канцелярит и вопросы длиной в абзац на слух заметны сразу, а глазами прочитываются как нормальные.

Дайте коллеге не из вашего отдела. Тот, кто не варится в теме, и есть модель вашего респондента. Просите не отвечать, а пересказывать своими словами, что спрашивают. Расхождение между тем, что вы имели в виду, и тем, что он услышал, это и есть список правок.

Спросите себя по каждому вопросу, что вы сделаете с ответом. Вопросы, на которые нет ответа, обычно и оказываются самыми кривыми: их писали не под решение, а «чтобы было».

Пройдите анкету с телефона. Формулировка, которая на мониторе умещается в строку, на узком экране превращается в четыре, и вопрос начинает выглядеть тяжёлым ещё до прочтения.

Что делать, если анкета уже в поле

Правило простое и неприятное: если ответы уже собираются, формулировку менять нельзя. Иначе у вас получится две несравнимые части выборки в одном отчёте, и разделить их потом будет нечем, кроме даты ответа.

Варианты действий по убыванию предпочтительности. Остановить сбор, починить, перезапустить с нуля, если ответов пока мало. Дособрать как есть и отметить проблему в отчёте, если ответов уже много. И худший, но иногда единственный: оставить кривой вопрос до конца волны, а исправленную формулировку ввести со следующей, зафиксировав в описании метрики, что ряд в этом месте разрывается.

Кривой вопрос обычно видно и по самим ответам, если знать, куда смотреть. Первый признак: пропусков в нём заметно больше, чем в соседних, люди просто проматывают то, чего не поняли. Второй: распределение подозрительно ровное или почти всё сидит на первом варианте, а это след угадывания вслепую. Третий, самый говорящий: в открытом комментарии человек пишет одно, а баллом ставит другое. И четвёртый, если сервис показывает время: на этом экране люди застревают дольше, чем на любом другом, хотя вопрос не сложнее прочих. Один сигнал ещё ничего не значит, два подряд означают, что вопрос надо переписывать к следующей волне.

Брошенные анкеты: почему уходят и как снизить долю

Как это сделано в WebAsk

Против несбалансированных шкал помогает шкала с настраиваемыми подписями краёв: подписываются только концы, а середина остаётся нейтральной, и соблазна расставить три положительных деления и одно отрицательное не возникает.

Против неполных списков есть вариант «другое» с полем для ввода, который добавляется к любому вопросу с выбором. Логика ветвления помогает не задавать вопрос не тому человеку: уточнение показывается только тем, у кого был релевантный опыт, и анкета остаётся короткой для остальных.

Черновик анкеты стоит прогнать через предпросмотр с телефона, а перед волновым замером сохранить копию опроса: тогда формулировки не уедут между волнами и ряд останется сравнимым. Если формулировки собираются с нуля, помогают генератор вопросов и другие инструменты раздела ИИ, но их выдачу всё равно надо проходить по списку выше.

Частые вопросы

Какая ошибка в формулировках встречается чаще всего?

Наводящий вопрос и двойной вопрос. Первый заметен, если прочитать формулировку вслух: в ней слышна подсказка. Второй ловится по союзу «и» между двумя разными предметами оценки.

Правда ли, что одно слово меняет ответы?

Да, и это измерено. В эксперименте Лофтус и Палмера 1974 года замена глагола в вопросе о скорости сдвинула среднюю оценку с 32 до 41 мили в час, а долю тех, кто «вспомнил» отсутствовавшее на записи разбитое стекло, подняла с 14% до 32%.

Сколько делений должно быть в шкале?

Пять или семь для оценок отношения, и главное симметрично: одинаковое число делений в плюс и в минус. Привычная школьная шкала «отлично, хорошо, удовлетворительно, плохо» несимметрична и завышает результат.

Нужно ли добавлять вариант «другое»?

В закрытых вопросах почти всегда, если вы не уверены, что список исчерпывающий. Без него человек либо выбирает наугад, что портит данные незаметно, либо бросает анкету.

Можно ли спрашивать о намерениях?

Можно, но читать такие ответы как прогноз нельзя: люди переоценивают свою будущую активность. Намерения годятся, чтобы сравнить варианты между собой, а для прогноза надёжнее спрашивать о прошлом поведении.

Как проверить формулировку, если спросить не у кого?

Прочитайте вопрос вслух и попробуйте пересказать его другими словами. Если пересказ получается заметно короче и понятнее оригинала, значит писать надо было так с самого начала.

Можно ли менять формулировку между волнами опроса?

Нежелательно. После правки новая волна становится несравнимой с прошлой, и динамика в этом месте рвётся. Если менять приходится, отметьте разрыв в описании метрики и не стройте через него график.