System Usability Scale

System Usability Scale (SUS) — это стандартизированный опросник для субъективной оценки удобства использования (юзабилити) программного обеспечения, веб-сайтов, мобильных приложений и других интерактивных систем. Разработанный Джоном Бруком в 1986 году, SUS представляет собой шкалу из десяти вопросов, позволяющую быстро и с минимальными затратами получить количественную оценку воспринимаемой пользователем простоты и эффективности взаимодействия с продуктом. В отличие от сложных лабораторных тестов, SUS не требует специального оборудования или большого числа участников и даёт воспроизводимый результат по шкале от 0 до 100 баллов.

История создания

Методика была разработана Джоном Бруком, сотрудником британской компании Digital Equipment Corporation (DEC), в середине 1980-х годов. В то время юзабилити-тестирование проводилось в основном в лабораторных условиях с использованием дорогостоящего оборудования и видеозаписи. Брук стремился создать инструмент, который позволил бы быстро и дёшево оценить субъективное восприятие системы пользователями после выполнения тестовых заданий.

Первая версия опросника была опубликована в 1986 году в сборнике трудов конференции по человеческому фактору в вычислительных системах. В 1996 году Брук опубликовал более подробное описание методики в книге «Usability Evaluation in Industry». С тех пор SUS стал одним из наиболее цитируемых и широко используемых инструментов в области юзабилити и пользовательского опыта (UX). Его популярность объясняется простотой, надёжностью и независимостью от конкретной технологии или типа интерфейса.

Структура опросника

SUS состоит из десяти утверждений, на каждое из которых респондент даёт ответ по пятибалльной шкале Лайкерта (от 1 — «полностью не согласен» до 5 — «полностью согласен»). Утверждения сформулированы так, чтобы охватить три ключевых аспекта юзабилити: эффективность (возможность выполнить задачу), результативность (затраты усилий) и удовлетворённость (эмоциональная реакция).

Список утверждений (оригинальный английский вариант)

1. I think that I would like to use this system frequently.
2. I found the system unnecessarily complex.
3. I thought the system was easy to use.
4. I think that I would need the support of a technical person to be able to use this system.
5. I found the various functions in this system were well integrated.
6. I thought there was too much inconsistency in this system.
7. I would imagine that most people would learn to use this system very quickly.
8. I found the system very cumbersome to use.
9. I felt very confident using the system.
10. I needed to learn a lot of things before I could get going with this system.

Утверждения чередуются: нечётные (1, 3, 5, 7, 9) сформулированы позитивно, а чётные (2, 4, 6, 8, 10) — негативно. Это сделано для предотвращения механического ответа и снижения эффекта согласия (acquiescence bias), когда респонденты склонны соглашаться с любым утверждением.

Расчёт баллов

Расчёт итогового балла SUS производится по специальному алгоритму, который преобразует сырые ответы в единую шкалу от 0 до 100.

Алгоритм расчёта

1. Для каждого нечётного (позитивного) утверждения (1, 3, 5, 7, 9): из ответа респондента вычитается 1.
2. Для каждого чётного (негативного) утверждения (2, 4, 6, 8, 10): из 5 вычитается ответ респондента.
3. Полученные значения для всех десяти утверждений суммируются.
4. Сумма умножается на 2,5.

Формула: SUS = ( ( (Q1-1) + (5-Q2) + (Q3-1) + (5-Q4) + (Q5-1) + (5-Q6) + (Q7-1) + (5-Q8) + (Q9-1) + (5-Q10) ) ) * 2,5

Интерпретация результатов

Итоговый балл не является процентной оценкой. Среднее значение по всем продуктам, по данным многолетних исследований, составляет около 68 баллов. Для интерпретации результатов часто используется шкала, предложенная Джеффом Сойером и Аароном Бангаром:

Балл выше 68 считается выше среднего, ниже 68 — ниже среднего. Результат ниже 50 обычно указывает на серьёзные проблемы с юзабилити.

Преимущества и ограничения

Преимущества

• Простота и скорость: Опросник заполняется за 2–3 минуты, не требует специальной подготовки респондента.
• Надёжность: SUS демонстрирует высокую внутреннюю согласованность (коэффициент альфа Кронбаха обычно превышает 0,9), что означает, что все вопросы измеряют одно и то же свойство.
• Универсальность: Метод применим к любым типам интерфейсов — от мобильных приложений до промышленного оборудования.
• Независимость от размера выборки: Даже при малом числе участников (5–12 человек) SUS даёт статистически значимые результаты.
• Сравнимость: Баллы SUS можно сравнивать между разными продуктами, версиями одного продукта или с отраслевыми бенчмарками.

Ограничения

• Субъективность: SUS измеряет восприятие пользователя, а не объективную эффективность работы (например, время выполнения задачи или количество ошибок).
• Не диагностирует проблемы: Опросник показывает общий уровень юзабилити, но не указывает, какие именно элементы интерфейса вызывают трудности.
• Культурная зависимость: Формулировки утверждений могут быть неадекватно поняты в разных культурах. Для русскоязычных пользователей требуется адаптированный перевод.
• Смещение из-за формулировки: Несмотря на чередование позитивных и негативных утверждений, некоторые респонденты могут путаться и давать неверные ответы.

Адаптация для русскоязычных пользователей

Для проведения SUS-тестирования на русском языке используется адаптированный перевод опросника. Один из распространённых вариантов перевода, прошедший валидацию, включает следующие утверждения:

1. Я думаю, что хотел бы часто использовать эту систему.
2. Я нахожу эту систему излишне сложной.
3. Я думаю, что система была простой в использовании.
4. Я думаю, что мне понадобилась бы помощь технического специалиста, чтобы использовать эту систему.
5. Я считаю, что различные функции в этой системе хорошо интегрированы.
6. Я думаю, что в этой системе слишком много непоследовательности.
7. Я представляю, что большинство людей научатся использовать эту систему очень быстро.
8. Я нахожу систему очень громоздкой в использовании.
9. Я чувствую себя очень уверенно, используя эту систему.
10. Мне нужно было узнать много нового, прежде чем я смог начать работать с этой системой.

При использовании перевода важно сохранить чередование позитивных и негативных формулировок, а также убедиться, что респонденты правильно понимают шкалу ответов.

Применение в индустрии

SUS широко используется в IT-компаниях, веб-студиях, исследовательских центрах и государственных учреждениях для:

• Сравнительного тестирования: Оценка двух или более конкурирующих дизайнов.
• Итеративного улучшения: Измерение юзабилити до и после внесения изменений в интерфейс.
• Бенчмаркинга: Сравнение собственного продукта с отраслевыми стандартами или продуктами конкурентов.
• Приёмки продукта: Определение, достигнут ли минимально приемлемый уровень юзабилити перед запуском.

Интересные факты

• Несмотря на то, что SUS был разработан в 1986 году, он остаётся одним из самых популярных инструментов в UX-исследованиях и по сей день.
• Исследования показали, что SUS-баллы коррелируют с объективными показателями, такими как время выполнения задачи и количество ошибок, хотя и не заменяют их.
• Для получения достоверных результатов рекомендуется опрашивать не менее 8–10 респондентов, хотя SUS можно использовать и с меньшим числом участников.

Источники

• Brooke, J. (1996). SUS: A 'quick and dirty' usability scale. In P. W. Jordan, B. Thomas, B. A. Weerdmeester, & A. L. McClelland (Eds.), Usability Evaluation in Industry. London: Taylor & Francis.
• Sauro, J., & Lewis, J. R. (2016). Quantifying the User Experience: Practical Statistics for User Research. Morgan Kaufmann.
• Bangor, A., Kortum, P., & Miller, J. (2008). An empirical evaluation of the System Usability Scale. International Journal of Human-Computer Interaction, 24(6), 574–594.
• Brooke, J. (2013). SUS: A retrospective. Journal of Usability Studies, 8(2), 29–40.