В 2020 году это 35-я годовщина создания самой используемой анкеты для измерения восприятия юзабилити. Шкала юзабилити системы (SUS) была выпущена в этот мир Джоном Бруком в 1986 году.
Первоначально она была создана как «быстрая и грязная» шкала для администрирования после юзабилити-тестов в таких системах, как приложения VT100 Terminal («Зеленый экран»).
SUS не зависит от технологий. Она была протестирована на оборудовании, потребительском программном обеспечении, веб-сайтах, мобильных телефонах, IVR и на желтых страницах. Стала отраслевым стандартом со ссылками в более чем 600 публикациях.
Шкала юзабилити системы.
SUS — это вопросник из 10 пунктов с 5 вариантами ответов.
- Я думаю, что я хотел бы использовать эту систему часто.
- Я нашел систему излишне сложной.
- Я думал, что система была проста в использовании.
- Я думаю, что мне понадобится поддержка технического специалиста, чтобы иметь возможность использовать эту систему.
- Я обнаружил, что различные функции в этой системе были хорошо интегрированы.
- Я думал, что в этой системе слишком много несоответствий.
- Я полагаю, что большинство людей научились бы использовать эту систему очень быстро.
- Я нашел систему очень громоздкой в использовании.
- Я чувствовал себя очень уверенно, используя систему.
- Мне нужно было многому научиться, прежде чем я смог начать работать с этой системой.
SUS использует следующий формат ответа:
Счет SUS.
- Для нечетных предметов: вычтите одно из ответа пользователя.
- Для элементов с четными номерами: вычтите ответы пользователей из 5
- Масштабирование всех значений от 0 до 4 (четыре — самый положительный ответ).
- Сложите преобразованные ответы для каждого пользователя и умножьте сумму на 2,5. Это преобразует диапазон возможных значений от 0 до 100 вместо от 0 до 40.
Интерпретация результатов SUS.
Несмотря на широкое использование SUS, было мало рекомендаций по интерпретации системы, приемлемых модификаций элементов и информации о надежности и достоверности.
На протяжении многих лет использования SUS в исследованиях оценка юзабилити улучшилась в разы. За это время проверены существующее исследование SUS и проанализированы данные более 5000 пользователей по 500 различным оценкам.
Эти данные показывают, что SUS является надежной, достоверной и удобной для использования. Она работает так же или лучше, чем коммерческие вопросники и отечественные внутренние вопросники.
Что такое хорошая оценка SUS?
Средний балл SUS по всем 500 исследованиям равен 68. Балл SUS выше 68 будет считаться выше среднего, а показатель ниже 68 ниже среднего.
Лучший способ интерпретировать ваш результат — преобразовать его в процентильный ранг путем нормализации. Был создал калькулятор и руководство, которое берет необработанные оценки SUS и генерирует процентильные ранги и буквенные оценки (от A + до F) для восьми различных типов приложений.
На графике ниже показано, как процентильные ранги ассоциируются с баллами SUS и буквенными оценками.
Этот процесс похож на «оценку по кривой», основанную на распределении всех баллов. Например, необработанный показатель SUS, равный 74, преобразуется в процентильный ранг 70%. Показатель SUS, равный 74, имеет более высокое воспринимаемое удобство использования, чем 70% всех протестированных продуктов. Это можно интерпретировать как оценку B-.
Вам нужно набрать более 80,3 балла, чтобы получить А (10% лучших результатов). Это показывает что пользователи с большей вероятностью будут рекомендовать продукт другу. Если вы набрали в среднем 68 баллов, вы получите C, а все, что ниже 51, — F (и вы попадете в нижние 15%).
Как SUS ставит баллы?
Даже при том, что оценка SUS может колебаться от 0 до 100, это не процент. Хотя технически правильно, что показатель SUS, равный 70 из 100, представляет 70% возможного максимального значения. Оценка на этом уровне будет означать, что протестированное приложение выше среднего. Фактически, оценка 70 ближе к средней оценке SUS 68. На самом деле более уместно назвать ее 50%.
При сообщении оценок SUS заинтересованным сторонам, и особенно тем, кто не знаком с SUS, лучше конвертировать исходную оценку SUS в процентиль, чтобы 70% действительно означали выше среднего.
SUS измеряет юзабилити и обучаемость.
В то время как SUS предназначался только для измерения воспринимаемой простоты использования (одно измерение), недавние исследования показывают, что он обеспечивает глобальную меру удовлетворенности системы и суб-шкал юзабилити и обучаемости. Элементы 4 и 10 обеспечивают измерение обучаемости, а остальные 8 элементов обеспечивают измерение удобства использования. Это означает, что вы можете отслеживать и составлять отчеты как по подшкалам, так и по глобальной шкале SUS.
Надежность SUS.
Надежность шкалы обозначает насколько последовательно пользователи отвечают на элементы. Показано, что SUS является более надежным и выявляет различия при меньших размерах выборки, чем отечественные вопросники и другие имеющиеся в продаже.
Частые вопросы о SUS.
✔️ Что такое SUS?
Шкала юзабилити системы SUS была создана как «быстрая и грязная» шкала для администрирования после юзабилити-тестов.
✔️ Как интерпретировать результат SUS?
Лучший способ интерпретировать ваш результат — преобразовать его в процентильный ранг путем нормализации. Был создал калькулятор и руководство, которое берет необработанные оценки SUS и генерирует процентильные ранги и буквенные оценки (от A + до F) для восьми различных типов приложений.
✔️ Какой уровень надежности SUS?
Показано, что SUS является более надежным и выявляет различия при меньших размерах выборки, чем отечественные вопросники и другие имеющиеся в продаже.
✔️ Какой результат в системе SUS считается хорошим?
Средний балл SUS по всем 500 исследованиям равен 68. Балл SUS выше 68 будет считаться выше среднего, а показатель ниже 68 ниже среднего.
✔️ Какие вопросы используются в анкетах по удобству использования?
Скрининг: задайте основные вопросы о демографии и опыте пользователей.
Предварительное тестирование: задавайте вопросы о психографии на основе ваших пользовательских образов.
Тест: задавайте вопросы о том, почему пользователи совершают определенные действия и принимают решения на вашем сайте.
✔️ Как измеряется SUS?
Для каждого из вопросов с нечетным номером вычтите 1 из оценки.
Для каждого из вопросов с четными номерами вычтите их значение из 5.
Возьмите эти новые значения, которые вы нашли, и сложите общий балл.
Затем умножьте это на 2,5.
✔️ Как рассчитывается Umux Lite?
Для базовой оценки UMUX-LITE вычтите единицу из оценки каждого пункта анкеты. Сложите обе эти скорректированные оценки и разделите их сумму на 12. Умножьте это число на 100. Чтобы сравнить ваши оценки UMUX-LITE с оценками SUS, вам необходимо преобразовать ваши оценки UMUM-LITE с помощью уравнения регрессии.
