Baseline Study (базовое исследование)

Через год после редизайна сайта вы проводите опрос удовлетворённости — NPS 42. Хорошо это или плохо? Выросло или упало?

Вы не знаете — потому что "до" никто не замерял. Все дальнейшие сравнения становятся спекулятивными: "кажется, раньше было хуже". Baseline study — это исследование, которое фиксирует исходное состояние до любого вмешательства. Без baseline любая последующая метрика висит в воздухе; с ним — превращается в измеримое изменение.

Определение

Baseline Study (базовое исследование) — исследование, проводимое для фиксации текущего состояния измеряемой переменной перед запуском интервенции, программы или изменения. Служит точкой отсчёта для последующих измерений и позволяет количественно оценить эффект изменений. Используется в продуктовых, маркетинговых, HR- и социальных исследованиях. Основа любой корректной оценки "до и после" и сравнительных тестов.

Зачем нужен baseline

Без baseline исследования вы не можете отличить изменение от случайности или от того, "как было всегда". Три критические функции baseline:

Измерение эффекта. "Удовлетворённость 42" само по себе мало что значит. "Удовлетворённость выросла с 35 до 42 после внедрения новой программы обучения" — содержит конкретный эффект в 7 пунктов. Без первой цифры второе утверждение невозможно.

Приоритизация изменений. Baseline показывает, где у вас сейчас проблемы. Без него решения о том, что улучшать, принимаются по интуиции или жалобам — а они могут не отражать реальную картину.

Коммуникация результатов. "Мы улучшили NPS на 8 пунктов" — измеримый результат, который можно показать стейкхолдерам. Без baseline вы можете говорить только о "качественных улучшениях", что намного слабее для обоснования инвестиций.

Когда проводить baseline

Ключевое правило: baseline должен быть завершён до начала интервенции. После запуска изменений фиксировать исходное состояние уже поздно — оно смешалось с эффектом изменений.

Типичные сценарии:

Перед продуктовой разработкой. Baseline удовлетворённости, NPS, usability-метрик до крупного релиза или редизайна. После релиза — повторный замер на той же выборке или методике.

Перед маркетинговой кампанией. Замер brand awareness, узнаваемости, ассоциаций с брендом до запуска. После завершения кампании — повторный замер для оценки эффекта.

Перед HR-программой. Baseline вовлечённости, удовлетворённости, intent to stay до внедрения новой программы (обучение, бенефиты, изменения процессов). После — повторный замер и анализ разницы.

Перед регулярным мониторингом. Первая волна любого регулярного опроса (квартальный NPS, ежегодный engagement survey) автоматически становится baseline для последующих сравнений.

Как строить baseline-исследование

1. Определить ключевые переменные. Какие метрики критичны для оценки эффекта? Основная метрика (NPS, CSAT, конверсия) + контекстные переменные (демография, сегмент, канал). Важно: список метрик не должен меняться между baseline и повторными волнами, иначе сравнение некорректно.

2. Зафиксировать методологию. Шкалы, формулировки вопросов, способ распространения, размер выборки, период сбора. Всё это должно быть задокументировано и воспроизведено в последующих волнах. Изменение методологии между baseline и повтором = невозможность корректного сравнения.

3. Обеспечить репрезентативную выборку. Baseline должен описывать ту же популяцию, с которой вы будете работать после. Если baseline собран только с активных пользователей, а повторный замер включит и новых — результаты не сопоставимы.

4. Достаточный размер выборки. Baseline должен иметь достаточный размер, чтобы дать узкий доверительный интервал. Иначе последующие сравнения будут "размытыми" — разница в 5 пунктов может попасть в зону погрешности.

5. Документирование контекста. Что происходило на момент baseline? Какие были внешние условия, сезонность, события? Это позволяет правильно интерпретировать будущие изменения и отличать их от шума внешних факторов.

Пример: baseline для внедрения новой CRM

Компания планирует внедрение новой CRM и хочет оценить, улучшит ли это продуктивность отдела продаж. Заранее проводят baseline-исследование:

• Опрос 40 менеджеров продаж: текущая удовлетворённость инструментами (шкала 1-10), время, затрачиваемое на административные задачи (часов в неделю), ощущение поддержки от систем
• Данные из текущей CRM: среднее число дней на сделку, количество задач на менеджера, процент ручного ввода
• eNPS отдела

Результаты baseline:

• Удовлетворённость инструментами: 5.2/10
• Время на административные задачи: 14 ч/неделя
• Среднее время сделки: 18 дней
• eNPS отдела: 12

Через 6 месяцев после внедрения новой CRM — повторный замер по тем же метрикам и выборке:

• Удовлетворённость: 7.4/10 (+2.2)
• Время на административные задачи: 9 ч/неделя (−5 ч)
• Среднее время сделки: 15 дней (−3)
• eNPS отдела: 28 (+16)

Количественный эффект виден. Без baseline утверждение "CRM улучшила работу" было бы недоказуемо — можно было бы говорить только "менеджеры говорят, что стало лучше". Теперь есть конкретные цифры для отчёта и принятия решений о масштабировании.

Baseline vs benchmarking

Иногда эти понятия путают, но они разные:

• Baseline — ваше собственное исходное состояние в фиксированный момент времени
• Benchmarking — сравнение с внешними эталонами: индустрия, конкуренты, лучшие практики

Они дополняют друг друга. Baseline говорит, куда вы двигаетесь ("мы выросли с 42 до 50"). Benchmarking говорит, где вы находитесь относительно рынка ("индустриальный бенчмарк 58, мы всё ещё отстаём"). Для стратегического планирования нужны оба.

Типичные ошибки при baseline

Использовать "старые данные" как baseline. Опрос, проведённый год назад по другой методологии, — не baseline. Разные формулировки, разные шкалы, разная аудитория делают сравнение некорректным. Лучше провести полноценный baseline прямо сейчас, даже если это отсрочит запуск на 2-3 недели.

Менять вопросы между baseline и повторным замером. "Мы немного улучшили формулировку в 5-й вопросе" звучит безобидно, но может сдвинуть средние значения на 5-10%. Строго: ключевые вопросы для сравнения должны оставаться идентичными.

Сравнивать разные выборки. Baseline проведён на активных пользователях, повторный — на всей базе, включая неактивных. Разница в среднем может быть связана не с изменением, а с разным составом выборки. Методология распространения опроса должна быть одинаковой.

Не учитывать сезонность. Если baseline проведён в декабре (высокий сезон для e-commerce), а повторный — в феврале, изменение может отражать сезонную динамику, а не эффект вашей работы. Сравнивайте сопоставимые периоды или используйте контрольные группы.

Baseline и дизайн исследования

Baseline — часть более широкого дизайна исследования. Для оценки причинных эффектов baseline желательно дополнить контрольной группой (не получала интервенцию) — это классический pre-post-control design. Без контрольной группы вы не можете исключить, что изменение произошло бы и без вашего вмешательства — из-за внешних факторов, естественной эволюции продукта, изменения аудитории.

Для масштабных изменений (редизайн, смена стратегии) baseline лучше дополнять A/B-тестированием на первых этапах — это даёт более чистую оценку эффекта, чем сравнение с исторической точкой.

Baseline в WebAsk

Для baseline-исследований в WebAsk создаётся опрос с чётко зафиксированной методологией, который сохраняется как шаблон. Последующие волны создаются копированием шаблона — это гарантирует идентичность вопросов, шкал и структуры. При анализе удобно использовать скрытые переменные для фиксации волны исследования: "baseline", "wave 1", "wave 2" — это позволяет при экспорте данных сразу разделять замеры для сравнительного анализа.

Baseline study — это инвестиция в возможность измерять эффект ваших действий. Без неё любые утверждения об улучшениях остаются в зоне ощущений; с ней — становятся измеримыми цифрами для отчётов, решений и инвестиций. Ключевые условия корректного baseline: чёткая методология, достаточная выборка, документирование контекста и неизменность методологии в последующих волнах.

Частые вопросы

Можно ли провести baseline после запуска изменений?

Нет — это уже не baseline. После запуска вмешательства текущее состояние уже отражает эффект этого вмешательства. Единственный корректный baseline — замер до любых изменений. Если возможности провести полноценный baseline не было, можно использовать исторические данные как приближение, но качество такого сравнения значительно ниже.

Какой размер выборки нужен для baseline?

Зависит от планируемого эффекта. Если ожидаете улучшение на 5 пунктов при стандартном отклонении 15 — нужно минимум 150-200 человек в каждой волне. Для небольших эффектов (1-2 пункта) — существенно больше. Для точного расчёта используйте MDE и нужную статистическую мощность.

Как часто обновлять baseline?

При значительных изменениях в аудитории или продукте — новый baseline. Типичные случаи: смена стратегии, выход на новые рынки, редизайн продукта, смена целевой аудитории. Для регулярного мониторинга baseline устанавливается один раз при запуске отслеживания и используется как точка отсчёта для всех последующих волн.

Нужен ли baseline для коротких кампаний?

Да, если хотите измерить их эффект. Для кампании длительностью 2-4 недели baseline можно провести за неделю до старта — этого достаточно для фиксации исходного состояния. Для длительных программ (6+ месяцев) baseline должен быть более тщательным.

Что делать, если результаты baseline хуже ожидаемых?

Это нормальная ситуация — baseline часто показывает реальную картину, которая расходится с интуитивными ожиданиями команды. Важно документировать результаты и не "корректировать" их задним числом. Честный baseline — основа для честной оценки работы: лучше увидеть настоящее состояние и от него двигаться, чем измерять эффект от завышенной точки.