Longitudinal Study (лонгитюдное исследование)

Лонгитюдное исследование это замер, который повторяют на одних и тех же людях. Обычный опрос показывает срез в моменте, лонгитюдный показывает, как менялись конкретные участники.

Чем отличается от обычного опроса

Разница не в вопросах, а в том, кого зовут отвечать во второй раз.

Поперечное исследование, по-английски cross-sectional, опрашивает много людей в один момент. Повторили через год, взяли новую выборку. Если довольных стало больше, известно, что изменился рынок. Неизвестно, изменились ли люди или просто попались другие.

Лонгитюдное возвращается к тем же самым людям. Тогда рост считается не по двум разным толпам, а по каждому участнику отдельно, и видно, кто именно изменил мнение.

Разница видна на картинке выше. Среднее по шести участникам за четыре волны сдвинулось с 6,29 до 6,27, то есть не сдвинулось вовсе. При этом трое подняли свою оценку, один из них на 3,5 балла, а трое опустили, один на 3,0. Поперечный замер показал бы ровную линию и вывод «ничего не изменилось». Продольный показывает, что изменились все, просто движения погасили друг друга.

Это не редкий случай, а обычное устройство агрегата. Среднее складывает противоположные движения и оставляет от них ноль, поэтому по нему нельзя судить, стабильна аудитория или бурлит.

Три вида, которые путают

Слово «лонгитюдный» покрывает три разных дизайна. Они отличаются тем, насколько строго держат состав участников.

Дизайн	По-английски	Кого спрашивают повторно
Панельное	panel study	тех же самых людей
Когортное	cohort study	ту же группу, состав частично меняется
Трендовое	trend study	ту же совокупность, выборка каждый раз новая

Когорта это группа, объединённая общим событием в общий период: клиенты, пришедшие в марте, сотрудники, нанятые в этом году, студенты одного набора. Когортное исследование следит за группой, а не за поимённым списком, поэтому кто-то выпадает, кто-то добавляется, но группа остаётся той же.

Трендовое строго говоря продольное только по совокупности: каждый замер это новая выборка из того же населения. По сути это серия поперечных срезов, поставленных в ряд.

Главная проблема: люди уходят

Лонгитюдный дизайн ломается не от плохих вопросов, а от выбывания участников. По-английски это attrition или panel mortality. Часть людей не отвечает на второй замер, ещё часть на третий, и потери накапливаются.

Арифметика здесь неумолимая, потому что потери перемножаются. Скромные 10% за волну звучат безобидно, но через восемь волн от панели остаётся 43%. При 20% за волну остаётся 17%, то есть шесть человек из каждых сорока.

Проверяется это просто: сравните первый замер тех, кто дошёл до конца, с первым замером тех, кто отвалился. Если на старте эти две группы отвечали одинаково, выбывание близко к случайному. Если отвалившиеся с самого начала были недовольнее, ваш рост показателя это в основном уход недовольных.

Что с этим делают на практике. Панель добирают свежими участниками, но тогда честнее считать её когортной, а не панельной. Второй путь это взвешивание: доживших до последней волны взвешивают так, чтобы состав панели вернулся к исходному по ключевым признакам. Взвешивание чинит перекос по тому, что вы измерили на старте, и бессильно против перекоса по тому, чего вы не спрашивали.

Дешевле всего снижать сами потери. Короткая анкета, предсказуемый ритм, напоминание тем, кто не ответил, и понятный ответ на вопрос «зачем меня спрашивают в шестой раз» дают больше, чем любая последующая статистическая правка.

Второй подвох: люди привыкают к опросу

Многократный опрос сам меняет ответы. В методологии это называют эффектом панели, panel conditioning.

Механизм понятный. Человек, которого четвёртый раз спрашивают про качество сервиса, начинает замечать то, на что раньше не обращал внимания. Кто-то запоминает свой прошлый ответ и подстраивается под него, чтобы выглядеть последовательным. Кто-то, наоборот, отвечает быстрее и небрежнее, потому что анкета знакомая.

Полностью убрать эффект нельзя, но его можно оценить. Для этого в исследование добавляют свежую группу: людей, которых опрашивают впервые, но в тот же момент, что и панель. Разница между ответами новичков и ветеранов и есть накопленный эффект.

Направление у эффекта не одно и то же в разных темах. Там, где вопрос требует вспомнить факт, повторный опрос обычно улучшает качество: человек уже понял, что от него хотят, и отвечает точнее. Там, где вопрос касается оценки и отношения, повторение чаще искажает: участник становится внимательнее к теме, чем средний человек с улицы, и перестаёт быть его представителем.

Чего лонгитюдный дизайн не разделяет

Есть ограничение, которое не лечится ни размером выборки, ни аккуратностью. Когда вы наблюдаете группу годами, на её ответы накладываются три силы сразу:

• возраст: люди просто стали старше;
• период: изменилось время вокруг них, вышел новый продукт, сменился рынок;
• когорта: сама эта группа особенная, у неё общий стартовый опыт.

Разделить все три по одной панели нельзя: они связаны арифметически, потому что период это возраст плюс год рождения. Чтобы отделить эффект возраста от эффекта эпохи, нужна вторая когорта, стартовавшая в другое время.

Как часто повторять замер

Шаг между волнами задаётся не удобством, а скоростью самого процесса. Слишком часто и вы измеряете шум и раздражаете людей, слишком редко и пропускаете то, что хотели поймать.

Что меняется	Разумный шаг
Настроение в команде	месяц или квартал
Удовлетворённость клиентов	квартал
Узнаваемость бренда	полгода
Ценности и установки	год и реже

Ориентир простой: волна должна быть заметно короче срока, за который показатель успевает измениться, и заметно длиннее срока, за который человек забывает, что уже отвечал.

Как это сделано в WebAsk

Чтобы связать ответы одного человека между волнами, нужен идентификатор, который переживёт все замеры. Его передают скрытой переменной в ссылке: внутренний код сотрудника или клиента подставляется в параметр, ответ приходит уже помеченным.

Дальше выгрузка через отчёты и ответы в CSV или XLSX, и волны сшиваются по этому полю в таблице. Сшивать по имени или почте ненадёжно: почту меняют, а имена пишут по-разному от волны к волне.

Список приглашённых надо хранить с первой же волны, наравне со списком ответивших. Без него выбывание не посчитать: видно, сколько человек ответило, а кто именно перестал, уже нет.

Коротко

• Лонгитюдное исследование возвращается к одним и тем же людям, поперечное каждый раз берёт новую выборку.
• Три вида: панельное следит за людьми, когортное за группой, трендовое за совокупностью.
• Главная угроза это выбывание: при 10% потерь за волну через восемь волн остаётся 43% панели.
• Уходят не случайные люди, поэтому показатель растёт сам собой.
• Многократный опрос сам меняет ответы, и оценить это можно только свежей группой.
• Возраст, эпоху и особенности когорты по одной панели не разделить.

Панель респондентов Когортный анализ

Вопросы и ответы

Чем лонгитюдное исследование отличается от поперечного?

Поперечное опрашивает много людей один раз, лонгитюдное возвращается к тем же людям несколько раз. Поперечное показывает, что изменился рынок, лонгитюдное показывает, что изменились конкретные участники, а не состав опрошенных.

Серия ежеквартальных опросов это лонгитюдное исследование?

Только если вы каждый раз опрашиваете тех же самых людей и можете сопоставить их ответы. Если выборка набирается заново, это трендовое исследование, то есть серия поперечных срезов. По ней нельзя сказать, сколько человек изменили мнение.

Что такое выбывание участников?

Это постепенная потеря панели от волны к волне, по-английски attrition. Потери перемножаются: при 10% за волну через восемь волн остаётся 43% исходного состава, при 20% всего 17%.

Почему выбывание опаснее, чем просто уменьшение выборки?

Потому что уходят не случайные люди. Первыми перестают отвечать равнодушные и недовольные, а остаются лояльные. Выборка смещается, и средний показатель растёт сам собой, без всяких улучшений в продукте.

Меняет ли многократный опрос сами ответы?

Да, это эффект панели. Человек начинает замечать то, на что раньше не смотрел, или подстраивается под свой прошлый ответ. Оценить эффект можно, добавив к панели свежую группу, которую опрашивают впервые в тот же момент.

Как часто проводить волны?

Волна должна быть короче срока, за который показатель успевает измениться, и длиннее срока, за который человек забывает, что уже отвечал. Для настроения в команде это месяц или квартал, для узнаваемости бренда полгода, для ценностей год и реже.