Анкета после обучения: какие вопросы показывают результат, а какие только вежливость

Анкета после тренинга почти всегда начинается с вопроса, понравилось ли. Это ровно тот вопрос, который о результате обучения не говорит ничего.

Формулировка «оцените, насколько вам понравился курс» выглядит безобидно, но именно она делает анкету бесполезной. Существует метаанализ 34 исследований, в котором собрали 115 корреляций между разными способами оценивать обучение. Связь между тем, понравилось ли людям, и тем, усвоили ли они материал, оказалась равна 0,02. Это ноль. Человек может выйти с курса в полном восторге и не запомнить ничего, и наоборот.

При этом другой тип вопроса в том же метаанализе работает. Если спросить не «понравилось», а «смогу ли я применить это в своей работе», связь с усвоением поднимается до 0,26. И там же более неожиданный результат: ответ на вопрос о применимости предсказывает, будет ли человек реально пользоваться навыком на работе, лучше, чем тест на знания сразу после курса. То есть самооценка полезности оказывается сильнее проверки того, что человек запомнил.

Вывод из этого простой и дешёвый. Дело не в том, собираете вы обратную связь или нет, а в том, какой именно вопрос стоит в анкете. Ниже готовые формулировки для трёх замеров, способ посчитать итог без средних баллов по всей анкете и разбор того, что делать с четырьмя типовыми результатами.

Один замер не отвечает на вопрос руководства

Руководитель, который оплатил обучение, хочет знать одно: изменилось ли что-нибудь в работе. Анкета сразу после курса на этот вопрос ответить не может физически, потому что применять новое ещё негде и некогда. Она отвечает на другой, тоже полезный вопрос: есть ли у людей намерение применять и что им, по их мнению, помешает.

Поэтому замеров нужно три, и они разные по смыслу.

Сразу после обучения. Пока все в одной комнате и отвечают почти все. Здесь спрашиваем про применимость, про то, что человек собирается забрать в работу, и что ему помешает. Организацию и спикера тоже спрашиваем, но отдельным блоком и не путаем с оценкой эффекта.

Через две недели. Первая попытка применить уже случилась или уже не случилась. Это самый информативный момент, чтобы понять, где новый навык упирается в реальность: нет доступа к инструменту, руководитель просит делать как раньше, нет времени. Анкета короткая, четыре вопроса.

Через полтора-два месяца. Здесь видно, закрепилось ли. Срок не взят из стандарта, это компромисс: раньше человек ещё не успел применить в достаточном числе ситуаций, позже он уже плохо помнит, что именно было на курсе, и начинает приписывать изменения чему угодно. Если у обучения есть чёткий рабочий цикл, привязывайтесь к нему, а не к календарю.

Модель Киркпатрика: 4 уровня оценки

Третий замер в компаниях делают редко, и это понятно: людей уже не собрать в аудитории, отвечает меньшинство, а результат может оказаться неприятным. Но именно он отвечает на вопрос, который задаст руководство при обсуждении следующего бюджета.

Анкета сразу после обучения

Анкета состоит из четырёх блоков, и они отвечают на разные вопросы. Смешивать их в один средний балл нельзя, иначе оценка гостеприимства организаторов размоет данные о применимости.

Блок 1. Применимость, главный

Шкала от 1 до 5, где 1 это «совсем не согласен», 5 это «полностью согласен». Формулировки утверждениями, а не вопросами: так короче и однозначнее.

• Я понимаю, в каких ситуациях своей работы буду это применять
• Я смогу применить это без дополнительной помощи
• То, что разбирали, похоже на мои настоящие рабочие задачи
• После курса я знаю, с чего начну

Обратите внимание, чего здесь нет. Нет слова «понравилось», нет оценки курса в целом, нет вопроса «оцените полезность от 1 до 10» без указания, полезность для чего. Каждое утверждение проверяемо: человек либо представляет себе конкретную ситуацию применения, либо нет.

Блок 2. Что заберёте в работу

Один открытый вопрос, обязательный к заполнению: «Назовите одну вещь, которую начнёте делать по-другому на следующей неделе».

Этот вопрос работает в две стороны. Он даёт вам список того, что реально дошло, причём словами самих людей, а не формулировками из программы курса. И он заставляет человека сформулировать намерение, а сформулированное намерение выполняется чаще. Пустые и общие ответы вида «буду больше слушать коллег» это тоже данные: значит, конкретики на курсе не хватило.

Блок 3. Что помешает

Тоже открытый: «Что может помешать вам это применить?». Плюс закрытый вопрос с вариантами, которые вы соберёте после первой волны из живых ответов: нет времени, нет доступа к инструменту, руководитель ожидает прежнего подхода, не уверен в своих силах, задачи такого типа мне не попадаются.

Это самый недооценённый блок. Он превращает результат обучения из оценки тренера в список препятствий, с которыми можно что-то сделать. Если половина группы пишет «руководитель ожидает, что я буду работать как раньше», проблема не в курсе.

Блок 4. Организация и спикер

Этот блок нужен, но он про качество услуги, а не про результат обучения. Держите его в конце и считайте отдельно.

• Темп был комфортным
• Материалов и примеров было достаточно
• Спикер отвечал на вопросы понятно
• Организация не мешала учиться

Порядок блоков важнее, чем кажется. Если начать с вопросов про спикера, дальше человек отвечает уже в режиме «оцениваю мероприятие», и блок применимости получает ту же вежливую пятёрку. Начинайте с применимости, пока человек думает про свою работу, а не про то, как оценить чужую.

Замер через две недели: четыре вопроса

Долгая анкета здесь не пройдёт, людей уже никто не держит в аудитории. Четыре вопроса, две минуты:

• Пробовали ли вы применить что-то с курса? Да, полностью / да, частично / собирался, но не вышло / нет
• Если пробовали, что получилось? Открытый
• Если не вышло, что помешало? Тот же список препятствий, что в первой анкете
• Нужна ли помощь, чтобы применить? Да / нет, и если да, какая

Ответ «собирался, но не вышло» это ваш главный сигнал. Он означает, что обучение сработало, а среда нет, и следующий шаг находится не в программе курса.

Пирамида Дейла в обучении персонала

Замер через полтора-два месяца

Здесь спрашиваем не только сотрудника. Самооценка на этом сроке уже смещена: человек хочет выглядеть тем, кто не потратил время компании впустую.

Сотруднику:

• Как часто вы пользуетесь тем, что разбирали на курсе? Регулярно / иногда / один раз попробовал / ни разу
• Приведите конкретный случай, когда применили. Открытый
• Что в вашей работе изменилось после курса? Открытый

Руководителю этого сотрудника, отдельной короткой анкетой:

• Заметили ли вы изменения в работе сотрудника после обучения? Да, явные / скорее да / не заметил / стало хуже
• Если заметили, в чём именно? Открытый
• Стоит ли отправлять на этот курс других членов команды? Да / нет / не уверен

Последний вопрос руководителю самый честный из всей конструкции. Готовность потратить время ещё одного человека это поступок, а не оценка по шкале.

Как считать результат

Главная ошибка при подсчёте: вывести средний балл по всей анкете и показать его руководству. Такая цифра складывает применимость с удобством кофе-брейка и не значит ничего.

Считайте по блокам и не средним баллом, а долей согласных: сколько процентов поставили 4 или 5. По шкале из пяти пунктов это называется топ-бокс, и он устойчивее среднего, потому что не зависит от того, ставят ли люди в вашей компании единицы или начинают шкалу с троек.

Почему средний балл обманывает, проще показать на числах. Две группы по 20 человек отвечают на утверждение «я смогу применить это без дополнительной помощи»:

Средний балл почти одинаковый, а картина разная. В продажах никто не против, но и уверенных мало, значит нужен разбор на реальных задачах. В поддержке половина уверена полностью, но четверо не поняли вообще ничего, и с этими четырьмя надо разговаривать отдельно, потому что они на следующем курсе будут сидеть с тем же результатом. Доля согласных эту разницу показывает, средний балл прячет.

Увидеть эту разницу своими глазами можно в калькуляторе шкалы Лайкерта: вводите распределение ответов по одному утверждению и получаете средний балл и долю согласных рядом. Подставьте туда две строки из таблицы выше по очереди, и станет понятно, какую из двух цифр стоит показывать руководству. Если шкала не пятибалльная или нужен не топ-2, а топ-3, считайте в калькуляторе топ-бокса.

Сколько ответов нужно, чтобы верить результату

Обучение обычно проходит группами по 10 до 30 человек, и это мало. На группе из 12 человек разница между 50 и 58 процентами не значит ничего: она набирается одним изменившим мнение участником. Практическое правило: на группе меньше 15 человек смотрите не на проценты, а на открытые ответы и на количество людей в каждой категории. Считать доли начинайте, когда набралось несколько групп по одной программе.

Если нужно сравнить две программы или два потока между собой и понять, реальна ли разница, посчитайте необходимый размер выборки заранее. Как это делается, разобрано в материале про размер выборки и доверительный интервал, а прикинуть числа можно в калькуляторе размера выборки.

Четыре картины результата и что с ними делать

Сведите два показателя: долю согласных из блока применимости сразу после курса и долю тех, кто через два месяца применяет регулярно или иногда. Получается четыре ситуации, и решения в них противоположные.

Собирались и применяют. Курс работает. Единственное полезное действие здесь это выяснить у применяющих, что именно помогло начать, и встроить это в программу для следующих групп.

Собирались, но не применяют. Самая частая и самая обидная картина. Обучение своё сделало, дальше упёрлось в среду. Смотрите список препятствий из второго замера: там будет либо отсутствие инструмента, либо руководитель, который ждёт прежнего поведения, либо задачи, где новый подход неприменим. Менять надо не курс.

Не собирались, но применяют. Выглядит странно, но встречается: люди не поверили в применимость на курсе, а потом жизнь заставила. Обычно означает, что на курсе не было примеров из их работы. Программа нормальная, примеры чужие.

Не собирались и не применяют. Обучение не сработало, и тут важно не спешить с выводом про тренера. Сначала проверьте, тех ли людей отправили: если на курс по переговорам отправили людей, которые не ведут переговоров, программа тут не виновата.

Что ломает анкету после обучения

Опрос в последние пять минут, когда все собирают вещи. Получите вежливые пятёрки по всем пунктам. Отправляйте ссылку сразу после окончания, но с возможностью ответить в течение дня, и скажите об этом заранее.

Тренер сам раздаёт и собирает анкеты. Оценки поднимаются, потому что человек оценивает того, кто стоит рядом. Собирать должен тот, кто не ведёт курс.

Обещанная анонимность в группе из шести человек. Она невозможна: по одному открытому ответу автор узнаётся сразу. Либо не обещайте анонимность и спрашивайте только то, что человек готов сказать открыто, либо объединяйте группы и не публикуйте срезы меньше пяти ответов.

Анонимный опрос сотрудников: как настроить

Одна и та же анкета для всех форматов. Однодневный воркшоп и полугодовая программа развития меряются по-разному. Блок применимости общий, всё остальное придётся развести.

Сравнение оценок разных тренеров как рейтинга. Разные группы, разные темы, разная стартовая мотивация. Оценки тренеров сопоставимы только внутри одной программы и при похожем составе участников.

Чек-лист перед запуском

• Первый вопрос анкеты про применимость, а не про то, понравилось ли
• Открытый вопрос «что начнёте делать по-другому» обязателен к заполнению
• Блок про организацию и спикера стоит последним и считается отдельно
• Второй замер через две недели уже поставлен в календарь, а не «сделаем, если будет время»
• Список препятствий одинаковый в первой и второй анкете, иначе ответы не сопоставить
• Считаете долю согласных, а не средний балл по всей анкете
• На группе меньше 15 человек читаете открытые ответы, а не проценты
• Анкету собирает не тот, кто вёл курс
• Руководителю участника подготовлена отдельная анкета из трёх вопросов

Частые вопросы

Можно ли обойтись одной анкетой сразу после обучения?

Можно, если вам нужно оценить качество проведения: темп, спикера, материалы. Для ответа на вопрос, изменилось ли что-то в работе, одной анкеты физически не хватает, потому что на момент её заполнения применять новое было негде.

Сколько вопросов должно быть в анкете после обучения?

Первая анкета укладывается в 10 до 12 пунктов: четыре утверждения про применимость, два открытых вопроса, четыре утверждения про организацию. Вторая и третья по три-четыре вопроса. Длинная анкета сразу после курса собирает вежливые ответы, а не точные.

Что делать, если отвечает меньше половины группы?

Сразу после курса низкий отклик почти всегда означает, что ссылку дали в момент, когда все уже уходили. На отложенных замерах отклик падает закономерно, и тут помогает не напоминание, а короткая анкета и объяснение, зачем она: людям проще ответить, когда понятно, что по итогам меняют программу, а не оценивают лично их.

Стоит ли делать анкету после обучения анонимной?

Для блока про спикера и организацию анонимность полезна, иначе оценки завышаются. Для отложенных замеров она мешает: чтобы связать намерение применять с фактическим применением, ответы одного человека нужно сопоставить между волнами. Компромисс: первая анкета анонимная, отложенные с именем и с честным объяснением, зачем оно нужно.

Как оценить обучение, если результат виден только через полгода?

Так бывает у программ развития руководителей и длинных профессиональных курсов. В этом случае отложенный замер разбивают на два: через два месяца спрашивают про попытки применения и препятствия, а через полгода про закрепившиеся изменения, и уже с участием руководителя. Ждать полгода, ничего не замеряя, рискованно: к этому моменту причины провала уже не восстановить.

Чем оценка обучения отличается от оценки сотрудника?

Объектом. Здесь оценивают программу и условия применения, а не человека. Как только анкета начинает восприниматься как оценка участника, ответы становятся защитными, и данные о препятствиях исчезают первыми. Про оценку самих сотрудников есть отдельный материал про оценку эффективности персонала.