Мониторинг UX

Диана Вайнберг
ProfsoUX 2020

Доклад рассчитан на сотрудников, которые ведут тему UX в компании: руководителей отделов пользовательского опыта, руководителей UX-отделов и департаментов, специалистов по UX.

Сегодня тема мониторинга UX является очень востребованной. Суть состоит в том, чтобы регулярно изменять уровень юзабилити сайта или приложения и отслеживать изменения во времени. Кажется заманчивым измерить, как те или иные доработки дизайна влияют на показатели UX. Сейчас, когда существует достаточно много различных платформ для удаленных немодерируемых тестов, кажется, что эту задачу решить легко. Действительно, эта задача сейчас стала вполне решаемой. Мониторинг UX вполне может проводить UX-отдел компании своими силами, быстро и без значительных временных затрат. Однако, чтобы наладить этот процесс, надо учесть массу нюансов. И мы готовы поделиться своим опытом, как оптимально построить работу по этой задаче.

В своем докладе я планирую рассказать о том, на что обращать внимание на всех этапах такого проекта:
1. Подбор сценариев для мониторинга. Сколько взять сценариев.
2. Формулировка заданий. Какие вопросы можно, а какие нельзя в удаленном тесте.
3. Рекрут для удаленного немодерируемого теста.
4. Метрики (основная SUM, и почему мы предпочитаем использовать именно ее). Количество респондентов для мониторинга.
5. Сбор и подготовка данных. Надо ли просматривать видео.
6. Панель для мониторинга (как она может выглядеть).

Transcript

1. 29 февраля 2020. Санкт-Петербург Диана Вайнберг МОНИТОРИНГ UX
2. ПОЧЕМУ ВОСТРЕБОВАН МОНИТОРИНГ 1. Установить KPI для UX-команд 2. Оценить влияние изменений на сайте 3. Требования пользователей меняются ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 2016 2019 МЕНЮ МЕНЮ
3. Мониторинг UX = Немодерируемый тест + SUM ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
4. ПУТЬ UX-МОНИТОРИНГА ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Дизайн теста Рекрут Сбор данных Отчет ̶ возможная проблема
5. Дизайн теста ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
6. КАК ОХВАТИТЬ ВСЕ Рекомендация: Использовать больше количество естественных сценариев. ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 1 2 3 4 5 1 2 3 4 Модель воронки Модель стратегий
7. СЛИШКОМ МНОГО ЗАДАНИЙ Рекомендация: На выполнение всех заданий у пользователей не должно уходить больше 20 минут времени. Если одна сессия в продукте занимает 10 минут, мы не можем дать больше 1 задания. 1 2 3 4 5 ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
8. НЕОДНОЗНАЧНЫЕ ЗАДАНИЯ Рекомендации: Не используйте понятия интерфейса. Проверьте, учли ли вы контекст. Не используйте вопросительные слова. Проведите пилот перед основным тестом ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Задание: Вы планируете пойти на вечеринку к подруге и хотите надеть что-нибудь новенькое. Что вы стали бы искать в интернете по этому случаю? Респонденты (30%): Тортик и бутылку шампанского
9. Рекрут ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
10. КОЛИЧЕСТВО РЕСПОНДЕНТОВ ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Рекомендация: Для участия в мониторинге надо привлекать не менее 90 респондентов. Если планируется сравнивать данные разных групп, то в каждой из групп должно быть не менее 90 человек. Частотность проблемы Объем выборки 40% 4 30% 5 20% 9 10% 18 5% 37 Выявление проблем Измерение показателя Погрешность (+/-) Объем выборки 24% 10 15% 28 10% 65 8% 103 5% 268 3% 749 90% уровень достоверности
11. ЖЕСТКИЕ КВОТЫ ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Гипотеза: Интересно привлечь к исследованию реальных пользователей продукта и не использовать квоты. 80 40 40 20 20 20 20 10 10 10 10 10 10 10 10 Платформа 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 Пользователь (да/нет) Регион Опыт (есть/нет)
12. НЕ ХОТЯТ ОТДАВАТЬ ПЕРСОНАЛЬНЫЕ ДАННЫЕ ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Рекомендация: Если спрашиваете персональные данные, исключите тех пользователей, которые не готовы отдавать такие данные. Готов 21% Скорее готов 26% Средне 17% Скорее не готов 23% Не готов 13%
13. Сбор данных ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
14. РЕСПОНДЕНТЫ ВСЕГДА ВРУТ ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020 Рекомендация: Продумать процедуру просмотра видео на этапе составления сценария: что вы будете на видео искать? 1-2 часа 8-10 часов 20-30 часов Пути Проблемы Успешность Время на просмотр 60 видео
15. ВЫВОД: ИДЕАЛЬНЫЙ МОНИТОРИНГ 1. Удаленный немодерируемый тест. 2. С периодом, соответствующим релизам. 3. Рекрут от лица продукта. 4. Вознаграждение имеет ценность только в этом продукте. 5. Пользователь сам устанавливает цель, отвечая на вопрос, зачем он зашел в продукт, а затем, какую задачу он реально решил в продукте. ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020
16. Спасибо за внимание Диана Вайнберг +7 (903) 193-94-38 diana.wainberg@usethics.ru ПрофсоUX | Мониторинг UX | Юзетикс | 29 февраля 2020