Брошенные анкеты: почему респонденты уходят и как снизить долю

Анкету на сорок вопросов заканчивают четверо из пяти. Анкету на десять заканчивают девять из десяти. Разница меньше, чем принято думать.

Это данные SurveyMonkey по 25 000 с лишним опросов, и они переворачивают привычный совет «сделайте покороче». Длина решает, но не так линейно и не так сильно, как тип вопросов и первый экран. Разберём, что показывают замеры, где именно уходят люди и что из популярных приёмов действительно двигает цифру.

Что считаем

Доля брошенных анкет, она же dropout rate, это те, кто начал заполнять и не дошёл до конца. Её зеркало это completion rate, доля завершивших. Вместе дают сто процентов.

Формулы простые:

• dropout rate = (начали минус завершили) ÷ начали × 100%;
• completion rate = завершили ÷ начали × 100%.

Важно не путать с откликом. Отклик считается от числа приглашённых, а completion от числа тех, кто уже открыл анкету и начал отвечать. Это разные воронки, и лечатся они разным: отклик приглашением и каналом, completion самой анкетой.

Что показывают данные

SurveyMonkey разобрал более 25 000 опросов, проведённых на своей панели респондентов, и посмотрел, как доля завершивших зависит от длины. Получилось так:

Вопросов в анкете	Доходят до конца
10	89%
20	87%
30	85%
40	79%

Первое, что здесь видно: между десятью и тридцатью вопросами разница всего четыре процентных пункта. Втрое более длинная анкета теряет ненамного больше. Обвал начинается после тридцати, между тридцатью и сорока сразу шесть пунктов, то есть больше, чем на всём предыдущем участке.

Второй замер того же SurveyMonkey, уже по случайной выборке из 100 000 пользовательских опросов, показывает, где падение самое резкое: каждый добавленный вопрос сильнее всего бьёт по завершаемости до пятнадцатого. После пятнадцатого добавление вопросов обходится дешевле, чем в начале. Логика простая: кто дошёл до середины длинной анкеты, тот уже вложился и скорее закончит.

Практический вывод из двух замеров вместе. Резать анкету с сорока вопросов до тридцати почти бессмысленно, выигрыш в пределах ошибки. Резать с пятнадцати до восьми имеет смысл. А главное решение принимается не в диапазоне длины, а раньше: включать вопрос в анкету или нет.

Сколько вопросов должно быть в опросе

Матрица стоит дороже обычного вопроса

Самая полезная цифра из того же исследования, и её обычно не знают. Опрос с одним матричным вопросом или шкалой оценки заканчивают 88% начавших, а опрос с десятью такими вопросами только 81%.

Сравните с длиной. Тридцать добавленных обычных вопросов, с десяти до сорока, стоят десяти процентных пунктов. Девять добавленных матриц стоят семи. В пересчёте на один вопрос выходит 0,33 пункта за обычный и 0,78 за матричный, то есть матрица обходится в 2,3 раза дороже.

Причина понятна каждому, кто заполнял матрицу с телефона. Одна строка это отдельное решение, и таких решений в матрице пять, восемь, двенадцать. Формально это один вопрос, по нагрузке на человека десяток. Плюс на узком экране матрица либо сжимается до нечитаемого, либо требует горизонтальной прокрутки.

Что с этим делать:

• держать одну, максимум две матрицы на анкету, а не собирать из них весь опрос;
• сокращать число строк: восемь утверждений почти всегда режутся до пяти без потери смысла;
• на мобильных разворачивать матрицу в последовательность обычных вопросов, если сервис это умеет;
• не ставить матрицу первым вопросом. Первый экран решает, останется человек или нет, и матрица там читается как «это надолго».

Порог по времени

Длина в вопросах это косвенная мера, прямая это минуты. Здесь порог известен и он довольно резкий: после семи-восьми минут доля завершивших падает на величину от пяти до двадцати процентных пунктов. Анкеты на семь-восемь минут бросают около 17% начавших, а на двенадцать-тринадцать минут уже больше 30%.

Отсюда практическое правило, которое стоит любых приёмов удержания: считайте не вопросы, а минуты, и мерьте на живом человеке. Дайте анкету коллеге, засеките время и умножьте на полтора, потому что коллега понимает контекст и отвечает быстрее случайного респондента.

Где именно теряются люди

Общая цифра dropout бесполезна, пока не разложена по этапам. Каждый этап теряет по своей причине, и рычаги у них разные.

Этап	Что произошло	Частая причина	Чем лечится
Не открыли	письмо получено, ссылка не нажата	непонятно, зачем и сколько это займёт	тема письма и первая строка
Открыли и ушли	вводный экран, ноль ответов	длинный текст, отсутствие срока	короткое вступление с обещанной длиной
Ушли на первом вопросе	один экран пройден	вопрос сложный, личный или непонятный	начинать с лёгкого и общего
Ушли в середине	треть или половина пройдена	усталость, матрицы, повторы	резать длину и число матриц
Ушли на контактах	дошли до полей с личным	неожиданная просьба о телефоне	предупреждать заранее и объяснять зачем

Обратите внимание на последнюю строку. Поле с телефоном в конце анкеты выглядит для организатора мелочью, а для респондента это смена договорённости: он соглашался на анонимные вопросы, а его просят представиться. Если контакты нужны, о них честнее сказать во вступлении.

Согласие на обработку данных в опросе

Приёмы, которые работают

Разложим по этапам, чтобы применять точечно, а не всё сразу.

Объявить длину в первом экране. Не «займёт пару минут», а «шесть вопросов, около двух минут». Люди терпят известную длину и не терпят неизвестность. Заодно это единственное обещание в анкете, которое легко проверить, поэтому не завышайте.

Начинать с лёгкого вопроса. Первый вопрос это не место для матрицы, открытого поля или чего-то личного. Простой выбор из вариантов запускает инерцию: человек уже начал.

Показывать прогресс. Полоса или счётчик «вопрос 3 из 8» удерживает в середине, где обычно и уходят. Одна оговорка: при ветвлении не показывайте проценты, потому что они будут скакать, и это подрывает доверие сильнее, чем помогает индикатор.

Группировать однотипное. Все демографические вопросы в один блок, все оценки в другой. Переключение между типами задач утомляет отдельно от их количества.

Убирать вопросы, под которые нет решения. Самый сильный приём и самый непопулярный. По каждому вопросу спросите себя, что вы сделаете с ответом. Нет ответа, нет вопроса. Это сокращает анкету быстрее любых ухищрений с оформлением.

Проверять на телефоне. Не в режиме адаптива в браузере, а на настоящем устройстве, стоя, одной рукой. Матрицы и длинные списки вариантов там ведут себя иначе, чем на мониторе.

Сохранять прогресс. Если анкета длинная по необходимости, возможность вернуться и дозаполнить спасает часть тех, кого отвлекли.

Сокращать варианты, а не одни вопросы. Список из двадцати позиций это двадцать решений внутри одного вопроса, и на телефоне он занимает три экрана прокрутки. Часто половина вариантов набирает по проценту и спокойно сворачивается в «другое» с полем для ввода.

Первый экран решает больше остального

Самая крупная потеря случается там, где ещё не задано ни одного вопроса. Человек открыл ссылку, посмотрел на вступление и закрыл вкладку. Ни один приём из середины анкеты этих людей уже не вернёт, потому что до середины они не дошли.

Вступление, которое работает, отвечает на три вопроса за пять секунд чтения: кто спрашивает, сколько это займёт и зачем это респонденту. Третий пункт пропускают чаще всего, а он и решает. «Поможете нам стать лучше» это не польза, это вежливая формула. «По итогам опроса мы меняем расписание смен, ваш ответ повлияет на график» это польза.

Чего во вступлении быть не должно: длинного текста про компанию, слова «уважаемый», просьбы отвечать честно (она вызывает ровно обратное) и обещания «займёт всего пару минут», если на деле займёт восемь.

Приёмы, которые кажутся работающими

Три вещи, на которые тратят силы зря.

Красивое оформление. Тема, шрифты и картинка в шапке на завершаемость почти не влияют. Влияет число решений, которые человек должен принять.

Мотивационные тексты между блоками. «Осталось совсем немного, вы отлично справляетесь» удлиняет анкету и не ускоряет её. Прогресс лучше показать индикатором, чем словами.

Обязательность всех вопросов. Кажется, что так соберётся больше данных. На деле вопрос, на который человеку нечего ответить, а пропустить нельзя, это точка выхода. Лучше получить анкету с одним пропуском, чем не получить вовсе.

Незавершённые ответы это тоже данные

Привычка выбрасывать всё, что не дошло до конца, стоит дороже, чем кажется. Человек, ответивший на семь вопросов из двенадцати, дал вам семь ответов. Вопрос только в том, можно ли их складывать с остальными.

Правило простое и делится надвое.

Считать по каждому вопросу отдельно можно. Если на четвёртый вопрос ответили 300 человек, а на одиннадцатый 180, распределение по четвёртому считается по трёмстам, по одиннадцатому по ста восьмидесяти. Указывайте число ответивших рядом с каждым распределением, иначе читатель отчёта решит, что везде одна база.

Считать сводные индексы по неполным анкетам нельзя. Любая метрика, которая собирается из нескольких вопросов, требует, чтобы человек ответил на все. Иначе индекс посчитается по разным людям в разных частях и станет бессмысленным.

И главное, ради чего их стоит хранить: незавершённые ответы показывают, где обрыв. Общая доля брошенных говорит, что проблема есть, а распределение обрывов по вопросам говорит, в каком именно вопросе она сидит. Без этого починка превращается в перебор наугад.

Отдельная осторожность с выводами. Те, кто дошёл до конца, отличаются от бросивших далеко не одним терпением. Часто они лояльнее, вовлечённее или им просто важнее тема. Если бросила треть, ваш итоговый результат смещён в сторону тех, кому не лень, и на длинных анкетах это смещение больше, чем погрешность выборки, о которой обычно пишут в отчёте.

Что делать, если доля уже высокая

Опрос запущен, первые сто ответов собраны, completion 18%. Порядок действий такой.

Сначала посмотрите распределение обрывов по вопросам, а не общую цифру. Если тридцать процентов и больше уходят на первом вопросе, проблема во вводном экране или в самом первом вопросе, и остальную анкету трогать бессмысленно. Если обрывы размазаны по середине, дело в длине и в матрицах. Если пик на конкретном вопросе, откройте его и прочитайте глазами респондента: скорее всего он либо непонятный, либо неуместно личный.

Дальше чините точечно и перезапускайте. Менять всё сразу нельзя: вы не узнаете, что именно помогло, и на следующем опросе повторите ту же ошибку.

Как это сделано в WebAsk

Незавершённые ответы сохраняются и видны отдельно от завершённых, поэтому обрыв можно найти по конкретному вопросу, а не гадать по общей доле. Фильтрация в результатах работает и по незавершённым тоже.

Прогресс-бар и показ по одному вопросу на экране включаются настройками опроса, там же автосохранение прогресса, чтобы респондент мог вернуться и продолжить. Обязательность настраивается и по всей анкете сразу, и по каждому вопросу отдельно, так что оставить обязательными только ключевые вопросы можно в пару кликов.

Частые вопросы

Какая доля брошенных считается нормальной?

Универсальной нормы нет, потому что она зависит от длины, аудитории и канала. Ориентир по форме кривой дают данные SurveyMonkey: на платной панели анкету из десяти вопросов заканчивают 89%, из сорока 79%. На своей аудитории без вознаграждения цифры будут ниже. Сравнивайте себя с собой на прошлой волне, а не с чужим бенчмарком.

Что сильнее влияет на завершаемость: длина или тип вопросов?

В пересчёте на один вопрос тип. Тридцать добавленных обычных вопросов стоят десяти процентных пунктов, то есть по 0,33 пункта за вопрос. Девять добавленных матриц стоят семи пунктов, по 0,78 за штуку. Матрица обходится примерно в 2,3 раза дороже обычного вопроса.

Сколько минут должна занимать анкета?

До семи-восьми минут. После этого порога доля завершивших падает на величину от пяти до двадцати процентных пунктов, а доля брошенных с примерно 17% на семи-восьми минутах растёт до более чем 30% на двенадцати-тринадцати.

Помогает ли прогресс-бар?

Помогает в середине анкеты, где обычно и уходят. Но при ветвлении не показывайте проценты: они будут скакать вперёд и назад, и это подрывает доверие сильнее, чем помогает сам индикатор.

Стоит ли делать все вопросы обязательными?

Нет. Вопрос, на который человеку нечего ответить, а пропустить нельзя, превращается в точку выхода. Анкета с одним пропуском полезнее, чем неполученная анкета.

Как понять, на каком вопросе теряются люди?

По незавершённым ответам: они показывают, до какого вопроса человек дошёл. Общая доля брошенных этого не покажет, нужно распределение обрывов по вопросам.

Чем отклик отличается от completion rate?

Отклик считается от числа приглашённых, completion от числа тех, кто открыл анкету и начал отвечать. Низкий отклик лечится приглашением и каналом, низкий completion самой анкетой. Путать их означает чинить не то.