ВВЕДЕНИЕ В UX БЕНЧМАРКИНГ.

Тестирование UX – это эффективный метод для понимания того, как люди используют и думают об интерфейсе, будь то веб-сайт, программное обеспечение или мобильное приложение.

Сравнительный анализ становится неотъемлемой частью плана систематического улучшения взаимодействия с пользователем. Многое связано с проведением эффективного теста. 

Для начала, эффективный бенчмаркинг пользовательского опыта означает сначала понимание термина. А также что такое пользовательский опыт, а затем переход к методам, метрикам и анализу.

Что такое пользовательский опыт?

Я не собираюсь предлагать официальное определение. Вот определение, которое я использую, аналогично Туллису и Альберту : пользовательский опыт – это сочетание всех поведений и отношений, которые люди имеют при взаимодействии с интерфейсом. Они включают:

• Способность выполнять задачи;
• Время, необходимое для выполнения задач или поиска информации;
• Возможность найти товары или информацию;
• Отношение к внешнему виду;
• Отношение к доверию;
• Восприятие легкости, полезности и удовлетворения.

Это также многие из классических показателей юзабилити-тестирования. Но они включают более широкие показатели, касающиеся отношений, брендинга, лояльности и внешнего вида. Таким образом, мы в значительной степени заимствуем методы юзабилити-тестирования и терминологию.

Что такое бенчмаркинг и зачем это делать?

Эталоном является стандарт или точка отсчета, с которой можно сравнивать или оценивать показатели. Это дает хорошее представление о цели. 

В случае компьютеров эталонным тестом обычно является оценка, которая оценивает производительность программного или аппаратного обеспечения. Чтобы установить стандарты для будущих тестов или испытаний для оценки производительности. Аналогично, бенчмаркинг UX включает в себя оценку интерфейса с использованием стандартного набора метрик для измерения его относительной производительности.

Один из признаков измерения пользовательского опыта заключается в том, чтобы увидеть, действительно ли усилия по дизайну привели к количественным изменениям во времени. Регулярное контрольное исследование – отличный способ отслеживать это. Эталонные тесты наиболее эффективны, когда они проводятся через равные промежутки времени или после значительных изменений в конструкции или функциях. На рисунке показаны те же задачи, что и на автомобильном веб-сайте, за три года: 2011, 2012 и 2014 годы.

Рисунок 1. Показатели выполнения пяти задач из исследования UX для автомобильного веб-сайта.

Эталонный показатель показывает, где веб-сайт или продукт попадает с каким-либо значимым сравнением. Можно сравнивать с:

• Более ранними версиями продукта или веб-сайта;
• Соревнованиями;
• По отношению к отрасли;
• Промышленным стандартом, таким как NPS или скорость разговора;
• Другими продуктами в той же компании.

Что вы можете сравнить?

Несмотря на то, что можно сравнивать практически все, наиболее распространенными интерфейсами, которые имеют оценки производительности, являются:

• Веб-сайты (B2C и B2B): опыт покупок на Walmart.com, Costco или GE.com;
• Настольное программное обеспечение (B2C и B2B): QuickBooks, Excel или iTunes;
• Веб-приложения: Salesforce.com или MailChimp;
• Мобильные сайты: мобильный сайт PayPal;
• Мобильные приложения: Facebook, Snapchat или мобильное банковское приложение Chase;
• Физические устройства: пульты дистанционного управления, автомобильные развлекательные системы или медицинские устройства;
• Внутренние приложения внутри компании: приложения для отчетности о расходах или системы управления персоналом;
• Опыт обслуживания: звонки в службу поддержки или готовые решения (OOBE).

Два типа эталонных исследований.

Существуют два основных типа исследований: ретроспективные и основанные на задачах.

Ретроспектива: участников просят вспомнить их самый последний опыт работы с интерфейсом и ответить на вопросы. Мы использовали этот подход для отчетов Consumer Software и Business Software Benchmark. При таком подходе вам не нужен доступ к программному обеспечению. Однако вы ограничены существующими пользователями, которым необходимо вспомнить прошлые действия.

На основе задач: участников просят попытаться выполнить предписанные задачи на интерфейсе, имитируя фактическое использование в контролируемой среде. Это обычная настройка юзабилити-теста, которую мы чаще всего используем при работе с клиентами. При таком подходе вы получаете более подробные взаимодействия задач и можете тестировать с новыми и существующими пользователями. Но вам нужен доступ к программному обеспечению или приложениям, также нужно определить задачи и критерии успеха.

Ретроспективные и основанные на задачах исследования фокусируются на различном опыте, как показано на рисунке 2.

Рисунок 2: Ретроспективные и основанные на задачах эталонные исследования фокусируются на различных частях опыта.

К счастью, в тестах UX можно использовать ретроспективные и основанные на задачах исследования. Мы используем этот подход, когда есть такая возможность. Начинаем с того, что просим текущих клиентов задуматься о своем опыте, а затем просим новых и существующих клиентов попытаться выполнить поставленные задачи.

Мы использовали смешанный подход в нашем исследовании UX Hotel UX . Четыреста пять участников отразились на одном из пяти сайтов отелей и ответили на ряд вопросов об опыте, включая SUPR-Q (ретроспектива). Еще 160 участников, которые забронировали отель онлайн, были случайным образом назначены для выполнения двух задач на одних и тех же сайтах отеля. Это дало нам более полную картину пользовательского опыта.

Различные режимы UX Бенчмаркинг.

При проведении эталонного теста UX на основе задач необходимо выбирать между различными типами режимов: модерируемое или немодерируемое тестирование.

Модерируемое тестирование требует наличия модератора или модератора с участником. Модерируемое тестирование может проводиться лично или удаленно с использованием программного обеспечения для мониторинга, такого как GoToMeeting или WebEx.

Немодерируемое тестирование похоже на опрос. Участники самостоятельно управляют исследованием, следуя указаниям, чтобы ответить на вопросы и попытаться выполнить задачи. Программное обеспечение, такое как платформа MUIQ , Loop11 или UserZoom, помогает автоматизировать процесс и собирать богатый набор данных, включая время, клики, тепловые карты и видео. Есть также несколько недорогих решений, таких как использование платформы для проведения опросов, чтобы участники выполнили свои задачи.

Модерируемое и немодерируемое тестирование имеет много преимуществ и недостатков. Основное отличие состоит в том, что немодерируемое тестирование позволяет быстро собирать данные от большего количества участников в большем количестве мест. 

Метрики.

Контрольные исследования часто называют суммирующими оценками, где акцент делается не на поиске проблем, а на оценке текущего опыта. Этот опыт оценивается количественно с использованием как более широких метрик уровня обучения, так и детальных метрик уровня задачи.

Метрики, основанные на исследовании.

Эти показатели обычно собираются в конце или начале исследования (на основе задач или ретроспективы).

SUPR-Q: обеспечивает оценку общего качества взаимодействия с пользователем веб-сайта, а также оценку удобства использования, внешнего вида, доверия и лояльности.

SUPR-Qm: анкета для пользователей мобильных приложений (в прессе).

SUS: мера воспринимаемого юзабилити; подходит для программного обеспечения.

NPS: показатель лояльности клиентов для всех интерфейсов; лучше для потребителей.

UMUX-Lite: компактная мера воспринимаемой полезности и воспринимаемой легкости.

Отношение бренда или подъем бренда: бренд оказывает существенное влияние на показатели UX. Измерение бренда до и после исследования помогает определить, насколько опыт положительный/отрицательный влияет на отношение к бренду.

Метрики на уровне задач.

Для исследований с заданиями ниже приведены наиболее распространенные метрики.

Отношение: восприятие легкости SEQ и уверенности, собранные после задания.

Действия: показатели завершения, время выполнения задачи, ошибки (собранные из задачи).

Резюме.

Тест UX обеспечивает количественно измеряемый интерфейс, такой как веб-сайты, мобильные приложения, продукты или программное обеспечение. Хороший тест показывает, как производительность интерфейса оценивается относительно значимого сравнения с более ранним моментом времени, конкуренцией или отраслевым стандартом. Контрольные показатели могут быть ретроспективными, когда участники отражают фактическое использование. Или основанными на заданиях, когда участники пытаются выполнять задачи в имитированном использовании. Сбор данных для тестирования UX включает те же режимы, что и тестирование удобства использования: модерируемые или немодерируемые подходы. Данные бенчмаркинга должны поступать на уровне исследования (SUPR-Q, SUS, NPS) и, если есть задачи, на уровне задачи (показатели выполнения, время, ошибки, SEQ).

По материалам сайта: measuringu.com.

✔️ Что означает эффективный UX бенчмаркинг?

Это значает понимание бенчмаркинга, пользовательского опыта, переход к методам, метрикам и анализу.

✔️ Что включает в себя UX бенчмаркинг?

Бенмаркинг UX включает в себя оценку интерфейса с использованием стандартного набора метрик для измерения его относительной производительности.

✔️ Как называются основные исследования?

Основные исследования делятся на 2 типа: ретроспективные и основанные на задачах. Эти типы фокусируются на различном опыте.

✔️ Какие типы режимов бенчмаркинга существуют?

Это модерируемые и немодерируемые тестирования. Плюс в том, что немодерируемое тестирование позволяет быстро собирать данные от большего количества участников в большем количестве мест. 

✔️ Что такое оценка UX?

Оценка UX — это показатель, классифицирующий каждый сеанс, записанный посредством Real User Monitoring, как удовлетворительный, разочаровывающий, допустимый. Чтобы определить оценку UX для каждого пользовательского сеанса, принимается во внимание множество других связанных данных.

✔️ Что такое сравнительное исследование?

Сравнительное исследование — это процесс измерения и сравнения показателей удобства использования с базовыми значениями. Сравнительные исследования проводятся на регулярной основе (ежемесячно, ежеквартально, ежегодно). Такие тесты помогают отследить изменение качества продукта с течением времени.

✔️ Как проводится конкурентный анализ UX?

Конкурентный анализ подразумевает проведение пяти важных операций.
Исследование конкуренции.
Изучение продукции конкурентов.
Выявление проблем UX у конкурентов.
Выявление недостатков визуального дизайна сайта или приложения конкурентов.
Подготовка отчёта.