UMUX-Lite: два вопроса для оценки юзабилити

UMUX-Lite это стандартизованный опросник из двух утверждений, который измеряет воспринимаемую юзабилити продукта. Он нужен, когда десять пунктов SUS не помещаются в анкету, а одного вопроса о «простоте» мало.

Что такое UMUX-Lite

Название расшифровывается как Usability Metric for User Experience Lite. Методику предложили Джеймс Льюис, Брайан Ютеш и Дебора Махер в работе 2013 года. Они взяли из полного UMUX два позитивно сформулированных пункта. Один отвечает за полезность, второй за простоту использования.

В двух исходных выборках надёжность методики составила 0,82 и 0,83, а корреляция с SUS была около 0,81, что для шкалы всего из двух пунктов считается сильным результатом. Позднее авторы повторили проверку на новых данных и получили схожую связь с SUS.

Какие два утверждения входят в UMUX-Lite

Канонический опросник состоит из двух фраз, которые в русской анкете можно передать так:

1. «Возможности этой системы отвечают моим требованиям».
2. «Этой системой легко пользоваться».

Вместо «системы» ставят один конкретный объект: «приложения», «сайта», «личного кабинета». Оба пункта оценивают по семибалльной шкале от 1 «полностью не согласен» до 7 «полностью согласен». Середина равна 4. Отдельный ответ «не могу оценить» в балл не включают.

Как провести замер

UMUX-Lite задают после реального взаимодействия с продуктом. Показать человеку макет и спросить об удобстве недостаточно. Нужен хотя бы один осмысленный сценарий: найти функцию, оформить заказ, настроить профиль. Если нужно понять, где именно ломается сценарий, опросник дополняют юзабилити-тестированием.

Важно зафиксировать момент отправки. Опрос сразу после первого сеанса и опрос через месяц измеряют разный опыт. Для динамики сохраняют одинаковые формулировки, шкалу, точку контакта и состав аудитории. Иначе сдвиг балла нельзя отделить от сдвига методики.

Как рассчитать UMUX-Lite

Сначала от каждого ответа отнимают 1. Два результата складывают, делят на 12 и умножают на 100:

Базовый балл = ((Q1 − 1) + (Q2 − 1)) / 12 × 100.

Например, респондент поставил 6 за соответствие требованиям и 5 за простоту. Его базовый балл равен ((6 − 1) + (5 − 1)) / 12 × 100 = 75. После этого считают среднее по всем респондентам. В отчёте рядом со средним показывают доверительный интервал. Он не даёт случайному скачку на малой выборке выглядеть как улучшение.

Если нужно сопоставить результат с нормами SUS, применяют регрессионную поправку из исходной работы:

Оценка в шкале SUS = 0,65 × базовый балл + 22,9.

Для примера с базовым баллом 75 получится 71,65. У этой поправленной шкалы теоретический диапазон от 22,9 до 87,9, а не от 0 до 100. Это не ошибка: формула приближает средние UMUX-Lite к средним SUS, а не растягивает ответы по всей шкале.

Как читать результат

Самый надёжный ориентир это динамика одного продукта при неизменной методике. Если после редизайна средний балл вырос с 61 до 70, а интервалы почти не перекрываются, это сильнее говорит об улучшении, чем отдельный «хороший» балл.

Сравнивать с ориентиром SUS можно только после поправки. Тогда же можно осторожно читать 68 как средний рыночный ориентир. Сырой UMUX-Lite и скорректированный балл не смешивают на одном графике. В отчёте рядом с итогом всегда пишут формулу.

Почему два пункта дают устойчивый показатель

Краткость сама по себе не делает шкалу надёжной, но в UMUX-Lite работает связка двух разных смыслов: первый пункт про то, может ли продукт сделать нужную работу, второй про то, сколько усилий требует эта работа. Продукт может быть простым, но бесполезным, или мощным, но трудным; общий балл снижается в обоих ситуациях, но профиль двух ответов показывает, какая сторона просела.

Психометрическая надёжность относится к показателю по группе, а не к точности ответа одного человека. Нельзя сказать, что юзабилити конкретного участника равна 58,3. Зато можно сравнить средние двух групп или двух волн, если для каждой известны размер выборки и разброс.

Как сравнивать версии и волны

Для сравнения двух интерфейсов участников случайно делят на группы, дают одинаковые задачи и после сеанса показывают UMUX-Lite. Каждый видит только свою версию. Такой дизайн не даёт впечатлению от первого варианта изменить оценку второго. При малой разнице надо заранее оценить размер выборки, иначе исследование будет замечать только крупные сдвиги.

В повторных волнах не обязательно звать тех же людей, но выборки должны быть сопоставимы. Если в первой волне отвечали новички, а во второй опытные пользователи, балл может вырасти без единой правки интерфейса. В отчёте рядом с баллом указывают число ответов, тип пользователей, задачу, момент замера и доверительный интервал. Этой строки обычно хватает, чтобы не принять смену аудитории за успех редизайна.

UMUX-Lite, UMUX, SUS и SEQ: в чём разница

Метрика	Пунктов	Что измеряет	Когда задают
UMUX-Lite	2	полезность и простоту	после сеанса или в короткой волне
UMUX	4	общее восприятие юзабилити	когда места больше и нужны обратные пункты
SUS	10	общую воспринимаемую юзабилити	для стандартного бенчмарка и длинного ряда
SEQ	1	лёгкость одной конкретной задачи	сразу после каждого сценария

UMUX-Lite не равен «половине UMUX». Два его пункта отобраны и проверены как отдельная короткая шкала. Если просто выкинуть любые два пункта из UMUX или SUS, получится другой инструмент без прежней сравнимости.

SUS: десять вопросов, расчёт и нормы

Чего UMUX-Lite не показывает

Итоговый балл это градусник, а не диагноз. Он показывает, как люди в целом оценили полезность и простоту, но не объясняет низкую оценку. Причиной может быть непонятная навигация, отсутствующая функция, медленная загрузка или плохой перевод. Два пункта не различат эти сценарии.

Поэтому рядом ставят открытый вопрос: «Что больше всего мешало вам выполнить задачу?». Для объективной части смотрят долю успешно выполненных задач, время и число ошибок. Субъективная оценка и фактическое поведение могут разойтись, и это расхождение само по себе полезно.

Частые ошибки

• Менять шкалу. Исходная версия использует семь вариантов. Исследование версий с 3, 5, 7 и 11 делениями не нашло большой практической разницы, но трёхбалльная шкала показала слабость. Без причины лучше остаться на семи делениях.
• Переписывать утверждения между волнами. Даже удачная редактура может сдвинуть ответы. Сначала проверяют перевод на нескольких пользователях, затем замораживают.
• Опрашивать людей без опыта. Если респондент не пытался решить задачу, он оценивает ожидания, а не юзабилити.
• Смешивать две формулы. Базовый балл и оценка с поправкой несопоставимы напрямую. Это всегда указывают в таблице и на графике.
• Искать причину в среднем. Одно число не говорит, что чинить. Нужны распределение ответов, открытый вопрос и наблюдение за задачей.

Как собрать шкалу и не сломать сравнение

Как это сделано в WebAsk

В WebAsk два утверждения можно собрать как два отдельных шкальных вопроса с семью одинаковыми вариантами. Для мобильной анкеты этот формат надёжнее широкой матрицы. После них ставят необязательное поле для комментария. Опрос отправляют ссылкой или встраивают в продукт после нужного сценария.

В каталоге шаблонов для UX-исследований есть заготовка UMUX-Lite. Её можно скопировать, заменить «систему» на название объекта и добавить свой открытый вопрос. Ответы выгружаются в Excel или CSV, где балл считается по формуле из этой карточки. Для первого замера можно создать опрос бесплатно.

Частые вопросы

Что такое UMUX-Lite простыми словами?

Это опросник из двух утверждений. Одно проверяет, отвечают ли возможности продукта требованиям пользователя, второе, легко ли им пользоваться. Два ответа превращаются в общий балл.

Какие вопросы входят в UMUX-Lite?

Участник оценивает два утверждения: «Возможности этой системы отвечают моим требованиям» и «Этой системой легко пользоваться». Для каждого выбирает ответ от 1 до 7.

Как считать балл UMUX-Lite?

От каждой из двух оценок отнимите 1, сложите результаты, разделите на 12 и умножьте на 100. Это даст базовый балл от 0 до 100. Для сравнения с SUS результат дополнительно умножают на 0,65 и прибавляют 22,9.

Какой балл UMUX-Lite считается хорошим?

У базового балла нет универсального порога. Его лучше сравнивать с прошлой волной, другой версией продукта или релевантным конкурентом. Ориентиры SUS применяют только к баллу с регрессионной поправкой.

Чем UMUX-Lite отличается от SUS?

UMUX-Lite состоит из двух позитивных утверждений на семибалльной шкале, SUS из десяти позитивных и негативных пунктов на пятибалльной. Оба измеряют воспринимаемую юзабилити, но SUS даёт более устоявшийся бенчмарк, а UMUX-Lite экономит место в анкете.

Можно ли по UMUX-Lite понять, что исправлять?

Нет. Общий балл показывает уровень воспринимаемой юзабилити, но не называет конкретную проблему. Для диагностики добавляют открытый вопрос, метрики выполнения задач и наблюдение за пользователем.