Валидность

Анкета об удовлетворённости работой показала 82% довольных, и три волны подряд цифра не сдвинулась ни на пункт. Стабильность радует, пока не выясняется, что из компании за год ушла треть отдела.

Что такое валидность

Валидность по «Стандартам» психологического и педагогического тестирования относится к выводам из баллов: одна и та же анкета бывает пригодна для одной цели и непригодна для другой.

«Стандарты» выпускают вместе три американские организации, AERA, APA и NCME. В редакции 2014 года валидность названа главным требованием к любому тесту, а доказательства собирают из нескольких источников: содержание вопросов, то, как люди на них отвечают, внутренняя структура шкалы, связи с другими показателями и последствия решений по результатам. Понятие конструктной валидности ввели Ли Кронбах и Пол Мил в статье 1955 года.

Валидность и надёжность

Как проверить, что вопросы меряют одно

Надёжность отвечает на вопрос, повторит ли анкета свой результат. Валидность спрашивает, тот ли это результат. Их путают постоянно, хотя проверяются они разными способами.

Прибор B самый коварный. Он каждый раз выдаёт почти одно и то же, поэтому кажется точным, но ошибается на 12 пунктов в одну сторону. Так ведёт себя анкета, где люди дружно завышают оценки, потому что опрос не анонимный. Альфа Кронбаха и повторный замер у такой анкеты будут отличными: они проверяют надёжность, а про попадание ничего не говорят.

Связь тут односторонняя. Ненадёжная анкета не может быть валидной: если ответ скачет от замера к замеру, одному замеру верить нельзя. Надёжная анкета бывает и валидной, и невалидной. Поэтому сначала проверяют альфу Кронбаха и повторный замер, а потом уже валидность.

Виды валидности

Названий много, но почти все они отвечают на один из пяти вопросов.

Вид	Какой вопрос задаёт
Содержательная	Покрывают ли вопросы всё понятие и нет ли лишних
Очевидная	Понятно ли респонденту, о чём его спрашивают
Конструктная	Ведёт ли себя показатель так, как предсказывает теория
Критериальная	Совпадает ли результат с внешним фактом сейчас или в будущем
Внутренняя и внешняя	Можно ли доверять выводу эксперимента и переносить его на других

Очевидную валидность в русских учебниках иногда тоже называют внешней. Её не надо путать с внешней валидностью эксперимента: первая про впечатление респондента, вторая про перенос выводов. Встретили «внешнюю валидность» в учебнике, смотрите по контексту, о чём речь.

Содержательная валидность: спросить экспертов

Её проверяют до запуска. Нескольким знатокам темы дают список вопросов, и каждый отмечает, нужен ли вопрос для измерения. В 1975 году Чарльз Лоше предложил считать по этим отметкам коэффициент содержательной валидности, CVR: из числа экспертов, назвавших вопрос нужным, вычитают половину всех экспертов и делят на ту же половину.

CVR идёт от −1 до 1, ноль значит, что эксперты разделились поровну. Порог зависит от числа экспертов. Эйр и Скалли в 2014 году пересчитали таблицу Лоше точным биномиальным критерием: при десяти экспертах вопрос проходит только с девятью голосами из десяти, то есть с CVR не ниже 0,8. Вопрос про кухню выпадает сразу. Стаж нужен в анкете как профильный вопрос, но в индекс удовлетворённости его включать нельзя, и эксперты это увидели.

Конструктная валидность: проверить связи

Удовлетворённость, вовлечённость, лояльность нельзя измерить линейкой, это конструкты. Их валидность проверяют косвенно: показатель должен сильно коррелировать с другими измерениями того же понятия и слабо с тем, что к нему отношения не имеет. Первое называют конвергентной валидностью, второе дискриминантной. Дональд Кэмпбелл и Дональд Фиске в 1959 году свели обе проверки в одну таблицу корреляций, многопризнаковую многометодную матрицу.

Новый индекс вовлечённости должен заметно коррелировать с уже проверенной шкалой вовлечённости и почти не зависеть от того, доволен ли человек кофемашиной. Если обе связи одинаковые, индекс меряет что-то общее, например настроение в день опроса. Вторая проверка конструкта это факторный анализ: вопросы, задуманные как одна шкала, должны собираться в один фактор.

Критериальная валидность: сверить с фактом

Самый убедительный вид: результат анкеты сравнивают с внешним критерием, который меряли без неё. Если критерий известен сразу, валидность называют текущей, если через время, прогностической.

В примере ответившие «5» уходили в девять раз чаще ответивших «1». Корреляция 0,29 по 500 сотрудникам выглядит скромно, но для одного вопроса и бинарного исхода это рабочая связь: по ответу можно заранее найти группу риска. Критерий при этом должен не зависеть от самой анкеты. Если руководитель видел ответы и сам решал, кого отпустить, совпадение ничего не докажет.

Внутренняя и внешняя валидность эксперимента

Эта пара описывает исследование целиком, отдельные вопросы анкеты тут ни при чём. Дональд Кэмпбелл и Джулиан Стэнли разобрали её в книге 1963 года об экспериментальных и квазиэкспериментальных планах. Внутренняя валидность отвечает, вызвал ли результат именно наш фактор, а не что-то параллельное: сезон, смена руководителя, другая аудитория рассылки. Её защищают контрольной группой и случайным распределением участников, как в A/B-тесте.

Внешняя валидность спрашивает, перенесётся ли вывод на других людей и другие условия. Результат опроса постоянных клиентов не переносится на новых, а пилот в одном филиале не всегда повторится в остальных. Тут работает репрезентативность выборки.

Как проверить валидность анкеты

1. Понятие. Запишите, что именно измеряете и для какого решения, и разложите понятие на признаки, которые можно спросить.
2. Эксперты. Дайте вопросы пяти-десяти знатокам темы и посчитайте CVR по каждому.
3. Интервью. Проведите несколько когнитивных интервью: человек отвечает вслух и объясняет, как понял вопрос.
4. Пилот. Запустите пилотный опрос на 30–50 человек и посмотрите на распределения, пропуски и время ответа.
5. Структура и связи. Проверьте альфу, факторы и корреляции с внешними показателями, которые у вас уже есть.

Пять шагов звучат долго, но для короткой анкеты первые три занимают пару дней. Последний шаг часто откладывают до первой волны: внешний критерий, например увольнения или повторные покупки, копится месяцами.

Что ломает валидность опроса

Двенадцать ловушек в формулировках

Чаще всего валидность портят мелочи: одно слово в формулировке или обстановка, в которой человек отвечает.

• Наводящий вопрос. «Насколько вам понравилось наше новое меню?» уже подсказывает ответ, подробнее в карточке про наводящие вопросы.
• Желание выглядеть лучше. Без анонимности люди отвечают так, как принято. Это социальная желательность, и она даёт ровно ошибку прибора B.
• Согласие по умолчанию. Когда все утверждения шкалы сформулированы в одну сторону, часть людей соглашается со всеми подряд.
• Два вопроса в одном. «Довольны ли вы зарплатой и графиком?» не даёт понять, о чём ответ.
• Не та выборка. Анкета валидна для сотрудников офиса, а её отправили на склад, где половина вопросов не про их работу.

Валидность и шкала валидности

В психологических опросниках вроде MMPI есть ещё шкалы валидности, например шкала лжи. Они относятся к отдельному человеку: искренне ли он отвечал на этот раз. Валидность анкеты относится к инструменту и выводам из него. Хорошая шкала лжи помогает отсеять недостоверные анкеты, но саму анкету валидной не делает.

Как это сделано в WebAsk

Пилот удобно запускать отдельной ссылкой на небольшую группу, а потом смотреть ответы по ней фильтром в разделе «Результаты → Ответы». Для критериальной проверки в опрос через скрытые переменные передают идентификатор, например табельный номер, а после выгрузки ответов в CSV или XLSX их сопоставляют с данными HR или CRM. Альфу Кронбаха и корреляцию с критерием можно посчитать в калькуляторе альфы Кронбаха и калькуляторе корреляции.

Коротко

• Валидность показывает, измеряет ли анкета то, ради чего её составили.
• Надёжность про повторяемость, валидность про попадание: надёжная анкета может стабильно ошибаться.
• Содержательную валидность проверяют экспертами, конструктную корреляциями и факторами, критериальную внешним фактом.
• Внутренняя и внешняя валидность описывают выводы исследования: можно ли им верить и куда их переносить.
• Чаще всего валидность ломают формулировки, неанонимность и не та выборка.

Вопросы и ответы

Что такое валидность простыми словами?

Это ответ на вопрос «мы меряем то, что хотели?». Валидная анкета об удовлетворённости работой показывает удовлетворённость работой, а не настроение в день опроса и не страх перед руководителем.

Чем валидность отличается от надёжности?

Надёжность показывает, повторит ли анкета свой результат на тех же людях, валидность показывает, тот ли это результат. Анкета может давать одинаковые цифры каждый раз и при этом стабильно ошибаться.

Какие бывают виды валидности?

Содержательная, очевидная, конструктная (с конвергентной и дискриминантной), критериальная (текущая и прогностическая), а для исследований ещё внутренняя и внешняя.

Как проверить валидность анкеты?

Сформулировать, что измеряете, дать вопросы экспертам и посчитать CVR, провести когнитивные интервью и пилот, затем проверить структуру шкалы и связь результата с внешними показателями.

Как посчитать коэффициент содержательной валидности Лоше?

Из числа экспертов, назвавших вопрос нужным, вычесть половину всех экспертов и разделить на ту же половину. При 10 экспертах и 9 голосах получится 0,8, это минимальный проходной уровень для такой группы.

Может ли надёжная анкета быть невалидной?

Да. Если все респонденты одинаково завышают оценки, например из-за неанонимного опроса, анкета будет стабильной, с высокой альфой Кронбаха, но покажет неверный уровень.

Что такое внешняя валидность?

Обычно так называют переносимость выводов исследования на других людей и другие условия. В части учебников так же называют очевидную валидность, то есть впечатление респондента, что вопросы по теме.