Модель Киркпатрика: четыре уровня оценки обучения и их границы

Четыре уровня Киркпатрика знают все, кто занимается обучением: реакция, усвоение, поведение, результаты. Обычно их рисуют лесенкой снизу вверх, и вот с этой лесенкой есть проблема.

Предположение, что уровни вытекают один из другого, в исследованиях не подтвердилось. Из хорошей оценки тренинга не следует, что люди чему-то научились, а из усвоенных знаний не следует, что их станут применять. Модель отлично работает как перечень того, что стоит измерить, и плохо работает как цепочка, по которой можно подниматься, меряя только нижнюю ступеньку.

Ниже разберём, что показывает каждый уровень, чем его мерить, где у модели границы и сколько уровней нужно именно вашей программе. Историю метода оставим в одном абзаце: практической пользы в ней немного.

Что измеряет каждый уровень

Модель предложил Дональд Киркпатрик в 1959 году, подробно описал в книге 1994 года, а последнее издание вышло в 2016 году уже после его смерти. Четыре уровня с тех пор не менялись.

Уровень 1, реакция. Что участники думают о программе. Меряется анкетой сразу после обучения, стоит дешевле всех остальных вместе взятых и поэтому единственный, который доходит до конца почти в каждой компании.

Уровень 2, усвоение. Что люди узнали или чему научились. Меряется тестом, практическим заданием или самооценкой уверенности, тоже вскоре после обучения.

Уровень 3, поведение. Изменилось ли что-то в работе. Меряется через недели и месяцы, наблюдением, опросом сотрудника и опросом его руководителя. Здесь заканчивается зона комфорта: людей уже не собрать в аудитории.

Уровень 4, результаты. Что получил бизнес: производительность, качество, текучесть, выручка. Меряется бизнес-показателями, и главная сложность тут не в измерении, а в том, чтобы отделить вклад обучения от всего остального.

Уровень 1: почему «понравилось» ничего не значит

Самый недооценённый и одновременно самый неправильно используемый уровень. Недооценённый, потому что реакция действительно важна: если программа раздражает, до второго уровня никто не дойдёт. Неправильно используемый, потому что спрашивают почти всегда одно и то же.

Существует метаанализ 34 исследований, в котором собрали 115 корреляций между разными способами оценивать обучение. Связь между тем, понравилось ли людям, и тем, усвоили ли они материал, оказалась 0,02. Это ноль. Довольная группа и группа, которая чему-то научилась, это два независимых события.

Но там же нашлось и решение. Если спрашивать не «понравилось», а «смогу ли я применить это в своей работе», связь с усвоением поднимается до 0,26. И более неожиданное: ответ на вопрос о применимости предсказывает, будет ли человек пользоваться навыком на работе, лучше, чем тест на знания сразу после курса.

Практический вывод для первого уровня простой. Оценка спикера, темпа и организации нужна, но это оценка качества услуги. Про эффект обучения на первом уровне говорит только один тип вопроса: понимает ли человек, где и как он это применит.

Анкета после обучения: какие вопросы работают

Уровень 2: что человек унёс с собой

Здесь проверяют, изменились ли знания, навыки или уверенность. Инструменты зависят от того, чему учили. Если проверка знаний у вас формализована и привязана к должности, это уже ближе к аттестации персонала, и правила там свои.

• Знания. Короткий тест, лучше до обучения и после, иначе непонятно, что человек знал и так
• Навыки. Практическое задание или разбор реального случая, а не вопрос «умеете ли вы»
• Уверенность. Самооценка по шкале, полезна там, где дело не в знании, а в готовности применять

Замер до и после это то, что чаще всего пропускают, а без него второй уровень почти бессмыслен. Если после курса по переговорам восемь человек из десяти отвечают на тест правильно, это может значить и что курс сработал, и что вы отправили на него людей, которые и так умели.

Тест сразу после обучения меряет запоминание, а не научение. Через неделю результаты будут другими, и именно они ближе к тому, что человек реально унёс.

Замер до обучения пугает больше, чем стоит: кажется, что люди воспримут его как экзамен на входе. На практике достаточно пяти вопросов без слова «тест», поданных как «посмотрим, что вы уже знаете, чтобы не тратить время на очевидное». Заодно это полезно и самой программе: если восемь из десяти отвечают правильно до обучения, половину материала можно выбросить.

Уровень 3: самый дорогой и самый нужный

Единственный уровень, который отвечает на вопрос руководителя, оплатившего обучение: изменилось ли что-нибудь в работе. И единственный, до которого в большинстве компаний не доходят.

Причины понятны. Мерить приходится через месяц или два, когда людей уже не собрать. Отвечает меньшинство. Результат может оказаться неприятным. И самое неудобное: если поведение не изменилось, виноватым легко назначить обучение, хотя причина часто в другом.

Спрашивают на этом уровне не только самого сотрудника, потому что его самооценка к этому сроку смещена: человек хочет выглядеть тем, кто не потратил время компании впустую. Поэтому короткая анкета идёт и его руководителю, и лучший вопрос в ней не про оценку, а про поступок: стоит ли отправлять на этот курс других членов команды. Готовность потратить время ещё одного человека честнее любой шкалы.

Если оценка руководителем у вас уже поставлена на поток, третий уровень удобно встроить в неё, а не собирать отдельно. Как устроен такой сбор с нескольких сторон, разобрано в материале про метод оценки 360 градусов.

Отдельно стоит выделить ответ «пробовал применить, но не вышло». Он означает, что обучение своё сделало, а упёрлось в среду: нет доступа к инструменту, руководитель ждёт прежнего поведения, задачи такого типа не попадаются. Менять надо не программу.

Уровень 4: где начинается натяжка

На четвёртом уровне смотрят бизнес-показатели: производительность, качество, скорость, текучесть, выручку. Проблема не в том, чтобы их измерить, а в том, чтобы связать изменение с обучением.

Продажи выросли на 12% после тренинга по переговорам. Что ещё изменилось за это время? Сезон, новый прайс, ушёл слабый менеджер, конкурент поднял цены. Обучение где-то в этом списке, но какой именно вклад его, из одного графика не видно.

Что помогает. Сравнение с группой, которая не проходила обучение, если такая есть. Замер на конкретной операции, а не на общей выручке: «время обработки заявки» связать с обучением проще, чем «прибыль». И честная формулировка в отчёте: «после программы показатель вырос на столько-то, на него также повлияло вот это».

Заявлять четвёртый уровень там, где вы не можете отделить вклад обучения, хуже, чем не заявлять его вовсе. Один разобранный случай на четвёртом уровне убедительнее, чем натянутая корреляция на всей компании.

Чего модель не обещает

В 1989 году вышла работа, разобравшая допущения, которые молчаливо зашиты в модель, когда её рисуют лесенкой. Таких допущений три, и ни одно не подтвердилось.

Что каждый следующий уровень даёт больше информации, чем предыдущий. Не всегда. Хорошо построенный второй уровень с замером до и после скажет о программе больше, чем сомнительная привязка выручки к тренингу на четвёртом.

Что уровни связаны причинно. Что довольство ведёт к усвоению, усвоение к поведению, поведение к результату. Именно это допущение и разрушают приведённые выше цифры: связь между реакцией и усвоением равна 0,02.

Что уровни положительно связаны между собой. Тоже нет. Уровни можно и нужно мерить параллельно, а не подниматься по ним по очереди, ожидая, что нижний предскажет верхний.

Что из этого следует практически. Нельзя мерить только первый уровень и делать выводы о результате. Нельзя пропустить третий уровень, сославшись на отличные оценки тренера. И не нужно ждать, пока «закроется» нижний уровень, чтобы взяться за верхний: замеры разных уровней планируются сразу и независимо.

Пирамида Дейла в обучении персонала

Пятый уровень и модель Киркпатрика-Филлипса

В 1990-е Джек Филлипс добавил к четырём уровням пятый: возврат инвестиций. Идея в том, чтобы перевести результаты четвёртого уровня в деньги, вычесть стоимость программы и получить ROI в процентах.

Есть и другие рамки оценки обучения. Ближайшая родственница это модель CIRO, которая добавляет к оценке результата оценку контекста и входных условий, то есть спрашивает ещё и «правильно ли мы вообще выбрали программу». Модель Филлипса называют «моделью Киркпатрика-Филлипса» или «моделью ROI Филлипса». Работает она там, где эффект обучения можно честно оцифровать: обучение продавцов, сокращение брака, снижение времени обработки. Плохо работает там, где эффект отложенный или распределённый, а это большая часть корпоративного обучения: адаптация, управленческие программы, работа с культурой.

Практический совет: не начинайте с пятого уровня. Если у вас не закрыт третий, цифра ROI будет построена на предположении, а не на данных, и первый же вопрос про методику её обрушит.

Сколько уровней нужно именно вам

Мерить все четыре уровня для каждой программы не нужно и почти никогда не оправдано. Глубина зависит от того, чему и зачем учили.

Обязательный инструктаж. Охрана труда, регламенты, ежегодные обновления. Здесь нужен второй уровень: человек должен знать. Первый уровень полезен для качества подачи, третий и четвёртый избыточны.

Разовый навыковый тренинг. Переговоры, презентации, работа с возражениями. Первый уровень в формулировке про применимость, второй практическим заданием, третий обязательно, иначе непонятно, дошло ли до работы. Четвёртый по возможности.

Длинная программа развития. Резерв руководителей, наставничество. Первые два уровня по каждому модулю, третий на горизонте нескольких месяцев с участием руководителя, четвёртый через показатели команды, а не самого участника.

Онбординг новичков. Здесь удобнее смотреть не на уровни, а на срок выхода на результат: он и есть готовый показатель третьего и четвёртого уровня одновременно.

Общее правило: первый и второй уровни закрываются одной анкетой и одним заданием, это дёшево. Третий требует планирования заранее, и именно он определяет, будет ли у оценки смысл.

Замеры по календарю

Уровни удобно держать в голове не как лесенку, а как расписание. Вот как это выглядит для обычного двухдневного тренинга.

За неделю до. Короткий замер знаний, если планируете второй уровень честно. Пять вопросов, две минуты, без объявления «это тест»: иначе часть людей начнёт готовиться и замер потеряет смысл.

В день окончания. Анкета первого уровня с блоком про применимость и открытым вопросом «что начнёте делать иначе». Отправляйте ссылку сразу после окончания, но с возможностью ответить в течение дня: анкета в последние пять минут, когда все собирают вещи, соберёт вежливые пятёрки.

Через неделю. Тот же замер знаний, что и до обучения. Разница между двумя замерами и есть второй уровень. Через неделю, а не сразу, потому что сразу вы померите запоминание.

Через полтора-два месяца. Третий уровень: короткая анкета сотруднику и отдельная его руководителю. Срок не из стандарта, это компромисс. Раньше человек не успел применить в достаточном числе ситуаций, позже уже плохо помнит, что было на курсе, и начинает приписывать изменения чему угодно.

Через полгода и дальше. Четвёртый уровень, если он вообще применим. К этому сроку нужны не ощущения, а показатели, и снимать их лучше по той же операции, что вы выбрали до начала программы.

Главное в этом расписании то, что оно ставится в календарь в день запуска программы, а не тогда, когда появится время. Не появится: третий уровень пропускают именно потому, что до него не доходят руки, а не потому, что он сложный.

Технически все четыре замера это четыре короткие анкеты по ссылке, и собрать их можно в любом конструкторе опросов, включая бесплатный тариф. Сложность здесь не в инструменте, а в дисциплине: поставить даты заранее и не отменить третий замер, когда до него дойдёт очередь.

Если поведение не изменилось

Самый частый и самый обидный результат: на первом уровне отличные оценки, на втором люди показали, что усвоили, а через два месяца в работе ничего не поменялось. Прежде чем списывать это на плохую программу, стоит развести четыре разные причины, потому что решения у них противоположные.

Не поверили в применимость. Видно ещё на первом уровне: низкие оценки утверждению «понимаю, в каких ситуациях буду применять». Значит, на курсе не было примеров из их работы. Лечится примерами, а не тренером.

Поверили, но не смогли. Ключевой ответ на третьем уровне: «пробовал, но не вышло». Дальше смотрите список препятствий: нет доступа к инструменту, нет времени, руководитель ждёт прежнего поведения. Менять надо условия, программа тут ни при чём.

Смогли бы, но не понадобилось. Задачи такого типа человеку просто не попадались. Это вопрос не к обучению, а к тому, кого на него отправили.

Отправили не тех. Самая неприятная и самая частая. Если на курс по переговорам отправили людей, которые переговоров не ведут, третий уровень покажет ноль при любом качестве программы. Проверять это надо до обучения, а не после.

Обратите внимание, что три причины из четырёх лежат вне программы курса. Поэтому третий уровень полезен не только как оценка обучения, но и как диагностика того, что мешает людям работать по-новому. Про то, как отделять оценку программы от оценки самого сотрудника, есть отдельный разбор про оценку эффективности персонала: как только анкета начинает восприниматься как оценка участника, данные о препятствиях исчезают первыми.

Частые ошибки

Спрашивать «понравилось» и считать это оценкой обучения. Мы разобрали выше, почему это ничего не показывает. Одна замена формулировки на «смогу применить» превращает бесполезную анкету в рабочую.

Мерить второй уровень только после. Без замера до непонятно, что человек знал и без вас.

Откладывать третий уровень до появления времени. Он не появится. Замер через полтора-два месяца ставится в календарь в день запуска программы.

Складывать оценки разных уровней в один индекс. Разные вещи, разные шкалы, разные сроки. Общая цифра «эффективность обучения 78%» не значит ничего.

Сравнивать оценки разных тренеров как рейтинг. Разные группы, разные темы, разная стартовая мотивация. Оценки сопоставимы только внутри одной программы при похожем составе участников.

Собирать анкету руками тренера. Оценки поднимаются, потому что человек оценивает того, кто стоит рядом.

Частые вопросы

Что такое модель Киркпатрика?

Это система оценки обучения из четырёх уровней: реакция участников, усвоение материала, изменение поведения на работе и результаты для бизнеса. Предложена Дональдом Киркпатриком в 1959 году и остаётся самой распространённой рамкой для оценки корпоративного обучения.

Обязательно ли мерить все четыре уровня?

Нет, и почти никогда не оправдано. Для обязательного инструктажа достаточно второго уровня, для навыкового тренинга нужны первый, второй и третий, четвёртый берут там, где эффект можно честно связать с обучением.

Правда ли, что уровни связаны между собой?

Нет. Разбор допущений модели показал, что уровни не выстроены причинной цепочкой и не обязаны быть положительно связаны. Связь между реакцией участников и усвоением в метаанализе оказалась равна 0,02, то есть отсутствует.

Чем модель Киркпатрика-Филлипса отличается от исходной?

Филлипс добавил пятый уровень, возврат инвестиций: результаты переводятся в деньги и сопоставляются со стоимостью программы. Считать ROI имеет смысл только когда закрыт третий уровень, иначе цифра строится на предположениях.

Какой уровень пропускают чаще всего?

Третий, изменение поведения. Он требует замера через месяцы, отклик на нём низкий, а результат может оказаться неприятным. При этом именно он отвечает на вопрос, ради которого обучение и оплачивали.

Что спрашивать на первом уровне вместо «понравилось»?

Утверждения про применимость: понимаю, в каких ситуациях буду применять; смогу применить без дополнительной помощи; знаю, с чего начну. Оценку спикера и организации оставьте, но считайте отдельно: это качество услуги, а не эффект обучения.