SUS: как измерить удобство продукта десятью вопросами

SUS, или System Usability Scale, это опросник из десяти утверждений, который измеряет субъективное удобство продукта: сайта, приложения, сервиса или устройства. Пользователь отмечает степень согласия с каждым утверждением, а ответы сворачиваются в один балл от 0 до 100.

За сорок лет SUS стал стандартом де-факто в UX-исследованиях: по нему накоплены нормы на сотнях исследований, поэтому свой результат есть с чем сравнить.

Откуда взялся SUS и почему ему доверяют

Опросник придумал инженер Джон Брук в 1986 году в компании Digital Equipment Corporation. Команде нужен был быстрый способ сравнивать удобство внутренних систем, и Брук честно назвал свой метод «quick and dirty», то есть быстрым и грубым. Ирония в том, что «грубый» инструмент пережил десятилетия проверок: исследования показали высокую надёжность шкалы, а накопленная база результатов превратила SUS в общую линейку, которой меряют всё, от банковских приложений до бытовой техники.

Сила SUS в трёх вещах. Он короткий: десять утверждений занимают у респондента пару минут. Он универсальный: подходит любому интерактивному продукту. И он сравнимый: единственный балл от 0 до 100 можно сопоставить с нормами, конкурентами и собственными прошлыми замерами.

Десять вопросов SUS на русском

Канонического русского перевода у SUS нет, поэтому ниже аккуратная адаптация оригинальных формулировок. Слово «система» замените на ваш продукт (сайт, приложение, сервис), но сделайте это последовательно во всех десяти пунктах. Каждое утверждение оценивается по пятибалльной шкале от «полностью не согласен» (1) до «полностью согласен» (5).

1. Думаю, что пользовался бы этой системой часто.
2. Система показалась мне излишне сложной.
3. Мне было легко пользоваться системой.
4. Думаю, мне понадобилась бы помощь технического специалиста, чтобы пользоваться системой.
5. Функции системы показались мне хорошо продуманными и согласованными.
6. В системе слишком много противоречий и несостыковок.
7. Думаю, большинство людей быстро научатся пользоваться системой.
8. Пользоваться системой было неуклюже и неудобно.
9. Пользуясь системой, я чувствовал себя уверенно.
10. Прежде чем начать работать с системой, мне пришлось многому научиться.

Обратите внимание на чередование: нечётные утверждения позитивные, чётные негативные. Это сделано специально, чтобы респондент читал каждый пункт, а не ставил пятёрки по инерции сверху вниз. Ломать этот порядок или выбрасывать «лишние» пункты нельзя: нормы посчитаны для полной шкалы, и урезанная версия с ними уже несравнима.

Как посчитать балл: формула и пример

Подсчёт устроен хитрее, чем кажется, из-за того самого чередования. Алгоритм такой:

• для нечётных пунктов (1, 3, 5, 7, 9) из ответа вычитается единица: вклад = ответ − 1;
• для чётных пунктов (2, 4, 6, 8, 10) ответ вычитается из пяти: вклад = 5 − ответ;
• десять вкладов складываются и сумма умножается на 2,5.

Каждый вклад лежит в диапазоне от 0 до 4, десять вкладов дают максимум 40, а множитель 2,5 растягивает результат до привычной шкалы 0–100. Разберём на примере. Респондент ответил на нечётные пункты 4, 4, 5, 4, 4, а на чётные 2, 1, 2, 2, 3. Нечётные вклады: 3, 3, 4, 3, 3, в сумме 16. Чётные вклады: 3, 4, 3, 3, 2, в сумме 15. Итого 31 балл, умножаем на 2,5 и получаем SUS = 77,5.

Балл считается по каждому респонденту отдельно, а итог исследования это среднее по всем участникам. Вручную это муторно уже на десяти анкетах, поэтому проще вставить ответы в наш калькулятор SUS: он посчитает балл, перцентиль и оценку сразу по всей выборке.

Что значит результат: почему 68 это норма

Главная ошибка при чтении SUS: воспринимать балл как проценты или школьную оценку. SUS 68 это не «двойка» и не «68% удобства». По мета-анализу Джеффа Сауро на базе более чем 500 исследований средний балл SUS равен 68. То есть 68 это ровно середина рынка, 50-й перцентиль: половина продуктов в мире удобнее вашего, половина хуже.

Для перевода балла в понятную оценку исследователи используют шкалу с кривой распределения. Выше 80,3 это уровень A, примерно топ-10% продуктов: пользователи довольны и готовы рекомендовать. Диапазон от 68 до 80,3 это уверенная «четвёрка». Значения от 51 до 68 сигналят о заметных проблемах с удобством, а всё, что ниже 51, означает, что юзабилити пора делать приоритетом номер один. Наш пример с 77,5 попадает в зону B: продукт удобнее среднего, но до отличного уровня не дотягивает.

Кроме сравнения с нормами есть второй, более честный ориентир: вы сами. Замер до и после редизайна покажет, помогли изменения или навредили. Именно в динамике SUS раскрывается лучше всего.

Сколько респондентов нужно

Приятная особенность SUS: он терпим к небольшим выборкам. Исследования сходимости показывают, что уже около 12 участников дают достаточно устойчивую оценку, чтобы принимать решения, а с ростом выборки доверительный интервал просто сужается. Для сравнения двух версий продукта или замера динамики этого обычно хватает. Если хотите прикинуть точность строже, пригодится разбор про размер выборки и доверительный интервал.

Типичные ошибки при замере SUS

• Менять формулировки и шкалу. Перефразированные пункты, семибалльная шкала вместо пятибалльной, выброшенные вопросы. После любой из этих правок сравнивать результат с нормой 68 нельзя: вы измерили что-то своё.
• Читать балл как проценты. SUS 70 это не «70 из 100 возможных», а положение относительно других продуктов. Без перцентилей цифра вводит в заблуждение.
• Ждать от SUS диагностики. Опросник говорит, насколько продукт удобен, но молчит о том, что именно неудобно. Поэтому к десяти пунктам стоит добавить открытый вопрос «что было самым неудобным». Без него низкий балл оставит вас гадать о причинах.
• Опрашивать не тех. SUS заполняют после реального взаимодействия с продуктом. Ответы людей, которые видели только скриншоты или лендинг, к юзабилити отношения не имеют.
• Формулировать пункты только позитивно. Иногда чередование убирают «для простоты», но вместе с ним уходит защита от бездумных ответов, а с ней и сравнимость. Подробнее о том, как формулировки влияют на честность ответов, в материале про искажение ответов.

SUS, UMUX и NPS: что выбрать

SUS измеряет удобство, и в этом его отличие от соседних метрик. NPS спрашивает про готовность рекомендовать, то есть про отношение к продукту в целом: продукт может быть неудобным, но любимым, и наоборот. UMUX и его короткая версия UMUX-Lite решают ту же задачу, что SUS, но четырьмя или двумя вопросами: удобно, когда анкета и так перегружена. Для точечной оценки конкретного действия используют SEQ, один вопрос сразу после выполнения задачи, а усилия клиента в сервисных сценариях меряет Customer Effort Score.

Практичная связка выглядит так: SUS раз в квартал или после крупных релизов как общий градусник юзабилити, короткие метрики в моменте, и обязательный открытый вопрос для причин. Как встроить такие замеры в исследовательский процесс, разбирали в статье про UX в исследованиях.

Как это сделано в WebAsk

В WebAsk опрос SUS собирается за несколько минут: создаёте анкету с десятью утверждениями по пятибалльной шкале, добавляете открытый вопрос о причинах и отправляете ссылку пользователям или встраиваете опрос в продукт. Ответы выгружаются в Excel или CSV, а балл по всей выборке считает калькулятор SUS вместе с перцентилем и буквенной оценкой.

Начать можно бесплатно: в конструкторе опросов WebAsk хватит и анкеты, и ответов для первого замера. Соберите SUS до ближайшего редизайна, чтобы после него было с чем сравнивать.

Частые вопросы

SUS 68 означает 68% удобства?

Нет. Балл SUS не проценты, а позиция на шкале, откалиброванной по сотням исследований. 68 это средний результат по рынку, 50-й перцентиль: ровно середина. А вот SUS 80 соответствует уже примерно топ-10% продуктов, хотя «в процентах» разница выглядит скромной.

Можно ли менять формулировки вопросов?

Слово «система» заменить на «сайт» или «приложение» можно и нужно, причём одинаково во всех пунктах. А вот перефразировать утверждения, убирать чередование позитивных и негативных пунктов или сокращать список нельзя: нормы посчитаны для канонической шкалы, и после правок сравнение с ними теряет смысл.

Подходит ли SUS для сайтов и интернет-магазинов?

Да. Опросник создавался для «систем» в широком смысле и десятилетиями применяется к сайтам, приложениям, интранетам и даже офлайн-устройствам. Главное условие: респондент должен реально попользоваться продуктом до заполнения, а не оценивать по описанию.

Чем SUS отличается от NPS?

SUS измеряет удобство взаимодействия, NPS готовность рекомендовать. Это разные оси: продукт с посредственным юзабилити может иметь высокий NPS за счёт цены или уникальности, и наоборот. Для полной картины метрики используют вместе, а не выбирают одну.

Как часто замерять SUS?

Разумный ритм: раз в квартал или после каждого крупного релиза и редизайна. Чаще нет смысла, восприятие удобства меняется медленно, а лишние анкеты утомляют пользователей. Главное сохранять одинаковую методику от волны к волне, чтобы динамика была честной.

Что делать, если балл низкий?

Сам по себе SUS не скажет, что чинить. Смотрите ответы на открытый вопрос, разбирайте оценки по отдельным пунктам (например, провал по пункту о сложности укажет на перегруженный интерфейс) и дополняйте картину юзабилити-тестами. Балл это термометр, а не рентген.