Эффект Даннинга–Крюгера (что это, пример и ограничения)

После теста человек говорит: «Думаю, решил восемь заданий из десяти», а проверка показывает три. Достаточно ли этого расхождения, чтобы объяснить его поведение эффектом Даннинга–Крюгера?

Что такое эффект Даннинга–Крюгера

Сравнение относится к конкретной области, а не к «уму вообще».

Одного расхождения недостаточно. Высокая оценка своего результата и ошибка этой оценки не одно и то же. Человек, который ждёт восемь верных ответов и получает три, завышает оценку на пять баллов. Другой ждёт девять и получает девять. Второй оценивает результат выше первого, но ошибки в его оценке нет. Этот пример сравнивает ожидаемые баллы, а не уверенность в каждом отдельном ответе.

В разговоре эффектом часто называют самоуверенность, громкий голос или отказ принять замечание. Такие признаки не заменяют измерение знаний. Собеседник способен уверенно защищать верный ответ, ошибаться по другой причине или спорить о ценностях, где нет единственного проверяемого решения.

Фраза «чем меньше человек знает, тем увереннее он себя чувствует» слишком груба. В исследовании сопоставляют ошибку оценки с результатом конкретной задачи. Низкий балл не означает, что участник оценивает себя выше всех. Точность самооценки тоже зависит от области: знаток логики не обязательно хорошо оценивает свой литературный вкус.

Что измеряли в исходном исследовании

В работе Джастина Крюгера и Дэвида Даннинга 1999 года было несколько опытов. Рассмотрим второй: 45 студентов Корнеллского университета выполнили 20 заданий по логике, затем оценили число верных ответов, своё место по тесту и общую способность к логическому рассуждению относительно однокурсников.

У нижней четверти участников средний фактический результат составил 9,6 ответа, предполагаемый 14,2. Среднее относительное место соответствовало 12-му процентилю, а предполагаемое место по тесту 62-му. Оценка общей способности была другой: 68-й процентиль. Подменять ею оценку теста нельзя.

Число 12 здесь не означает 12% верных ответов. Оно описывает место в группе сравнения. В исходном опыте среднее число верных ответов и относительное место оценивали отдельно.

Авторы предложили объяснение: навыки, нужные для решения задачи, помогают распознавать ошибки в ней. Недостаток этих навыков затрудняет и выполнение, и проверку себя. Расхождение оценок и результатов лишь описывает наблюдение. Чтобы подтвердить объяснение, нужно проверить роль навыков в распознавании ошибок.

Балл и процентиль: одинаковый результат, разное место

Балл отвечает на вопрос «сколько заданий решено верно?». Процентиль показывает место среди участников группы сравнения. Для его расчёта нужны чужие баллы и правило обработки одинаковых значений.

Учебный пример: Лена решила восемь заданий из десяти и верно оценила свой балл. Сравним её результат с двумя наборами чужих ответов. Все числа придуманы для объяснения, это не данные исследования и не кейс клиента WebAsk.

• В группе A баллы восьми других участников: 2, 3, 4, 5, 6, 7, 9, 10. Лена набрала больше шести из восьми, доля меньших результатов 75%.
• В группе B: 6, 7, 9, 9, 9, 10, 10, 10. Лена набрала больше двух из восьми, доля меньших результатов 25%.

Для этого примера используем простое правило: считаем долю других участников с баллом строго ниже восьми. В обеих группах по восемь человек, сама Лена в знаменатель не входит; совпадающих с её баллом значений нет. Это иллюстрация относительного места, а не попытка воспроизвести расчёт исходного исследования.

Если Лена ожидала оказаться выше 75% участников, в группе B её относительная оценка завышена на 50 процентных пунктов. Но число решённых заданий она оценила без ошибки. Нельзя написать, что Лена «переоценила знания на 50%»: ошибка касается положения среди выбранных людей, а не количества правильных ответов.

Участник не обязательно знает, насколько подготовлены остальные. Он может считать обычным уровень знакомого кружка, а его сравнивают с победителями олимпиады. Расхождение показывает неточную относительную оценку. Почему она возникла, из этих чисел ещё не видно.

Смена группы не меняет знания Лены: восемь ответов остаются восемью. Если в отчёте приведён только процентиль, уточните, с кем сравнивали участника. Иначе вывод о его знаниях будет зависеть от того, кого включили в выборку.

Почему средняя ошибка не описывает каждого человека

Теперь отдельный учебный набор: восемь человек получили 2, 3, 4, 5, 6, 7, 8 и 9 баллов из десяти. Нижняя четверть состоит из двух участников, A и Б. У A два верных ответа и предполагаемый балл три; у Б три верных ответа и предполагаемый балл восемь.

Средний результат этих двух человек равен 2,5 балла, средняя оценка 5,5. Разница средних составляет три балла. На сводном графике группа выглядит заметно переоценивающей результат, хотя индивидуальные ошибки разные: плюс один у A и плюс пять у Б.

У A ошибка один балл, у Б пять; три балла не описывают ни одного из них. Такой же средний разрыв получился бы, если бы оба ошиблись ровно на три. Одна сводная точка скрывает эту разницу.

Два участника здесь нужны только для наглядного расчёта. По такому набору нельзя подтвердить исследовательский эффект, оценить его распространённость или отделить устойчивую ошибку от случайного промаха. Учебная арифметика не превращает восемь записей в психологическое исследование.

Запись «предполагал восемь, получил три» тоже не раскрывает причину. Человек мог неверно понять задание, растеряться в непривычном формате или невнимательно оценить ответы. Проверенный балл показывает результат. Объяснение ошибки ещё предстоит проверить.

Какие ограничения и научные споры есть у эффекта

Способ группировки влияет на рисунок. В нижнюю группу попадают в том числе люди, чей тестовый балл случайно оказался ниже обычного. Другой показатель, например самооценка, не обязан содержать ту же случайную ошибку и может оказаться ближе к середине. Это вклад регрессии к среднему, а не доказательство особой неспособности оценивать себя.

В зарегистрированном исследовании Макинтоша и коллег 2022 года, опубликованном в Royal Society Open Science, изучали решение матриц и уверенность в ответах. Авторы не нашли подтверждения тому, что слабые участники хуже используют доступную информацию для оценки себя; групповой рисунок преимущественно объяснялся показателями выполнения. Это результат для конкретной задачи и метода анализа, не окончательный вердикт обо всех областях.

В работе Данкела, Неделека и ван дер Линдена 2023 года на данных Add Health нашли статистически значимый, но небольшой эффект. Авторы обсуждали ограничения вербального теста и самооценки по двум общим вопросам. Поэтому ни «эффект универсален», ни «эффект окончательно опровергнут» не передают состояние этой дискуссии.

Читая отчёт, спросите: что проверяли, когда собирали самооценку, с кем сравнивали людей и какой разрыв получили? Уверенность в отдельном ответе отличается от оценки общего балла или места среди других. График не поможет, если автор незаметно заменил один показатель другим.

Какие выводы делать нельзя

Популярная кривая с «горой глупости», спадом уверенности и выходом к мастерству рисует историю обучения. Групповое сравнение людей с разными результатами не показывает, что один человек проходит эти стадии в таком порядке. Для вывода о траектории понадобилось бы наблюдать за одними и теми же людьми во времени.

Несогласие с начальником не подтверждает эффект. Пока нет проверяемого критерия, внешняя оценка остаётся мнением. Даже единодушный отзыв коллег о компетентности не заменяет проверку ответов.

Низкая уверенность не доказывает высокий уровень знаний. Сильный участник способен оценить результат точно, а слабый сомневаться. Из обсуждаемого эффекта нельзя вывести правило «эксперт всегда не уверен в себе».

Не стоит смешивать этот термин с самоэффективностью: вера в способность выполнить будущее действие отличается от оценки результата уже выполненного теста. А расхождение самооценки и балла не служит основанием для клинического диагноза или общего ярлыка личности.

Что можно собрать в WebAsk

В WebAsk можно собрать ответы на задания и отдельную самооценку. В выгрузке важно сохранить различие между проверенным результатом, предполагаемым баллом и предполагаемым местом в группе. Вопрос «как хорошо вы знаете тему?» без конкретной шкалы этих показателей не заменяет.

Для оценки сотрудников нужны задания и критерии проверки, а для сопоставления требований с фактическими навыками есть Skills Gap Analysis. Назначать обучение по одному названию психологического эффекта рано.

Как составить проверку знаний

Форма собирает записи, но не определяет причину расхождения и не диагностирует эффект Даннинга–Крюгера. Проверка качества заданий, выбор сравнимой группы и научный анализ остаются отдельной работой. В отчёте можно точно написать, насколько разошлись оценки и результаты; объяснять этот разрыв следует только в пределах собранных свидетельств.

Частые вопросы

Эффект Даннинга–Крюгера означает, что глупые люди увереннее умных?

Нет. Большая ошибка самооценки и высокий уровень уверенности не одно и то же. Человек с сильным результатом может оценивать себя выше слабого и при этом точнее. Сравнение относится к конкретной задаче, а не к общей характеристике личности.

График с «горой глупости» был в исходной статье?

Нет. Исходное групповое сравнение не описывает обязательные стадии обучения одного человека. Для проверки изменений во времени нужен другой исследовательский дизайн.

Можно ли определить эффект по одному тесту?

Один тест с самооценкой показывает расхождение для конкретного задания. Без проверки альтернативных объяснений он не устанавливает причину ошибки и не даёт основания для диагноза человеку.

Процентиль означает процент правильных ответов?

Нет. Процент правильных ответов относится к заданиям, процентиль к положению среди результатов группы сравнения. Один и тот же балл способен занимать разное относительное место в разных группах.