Проведение удаленных UX-тестов на базе Яндекс.Толоки

Дмитрий Браженко
ProfsoUX 2020

Доклад рассчитан на специалистов по UX-исследованиям, дизайнеров, проектирующих интерфейсы, UX-аналитиков.

Для тестирования каждого небольшого внедрения сложно привлекать респондентов в UX-лабораторию: это дорого.

Есть крауд: Толока. Там есть люди, которые готовы за небольшую оплату выполнить несложное задание за оплату. Здесь я планирую в двух словах рассказать, что есть Толока, и как она устроена.

Чтобы поставить такие эксперименты на поток, мы сделали внутреннюю для Яндекса платформу для проведения подобных тестов.

Первая версия инструмента: сравнение картинок (скриншотов интерфейсов) парами. Здесь я планирую привести примеры того, какие решения были приняты на основе парного сравнения интерфейсов: дизайны страничек, выбор топовых фонов браузеров, сравнение пар поисковых выдач.

Вторая версия инструмента: сравнение кликабельных прототипов. Скриншотами невозможно показать все многообразие взаимодействия пользователя с интерфейсом. Кликабельные прототипы можно собирать в FIGMA. Эти прототипы мы обрабатываем, вешаем на них счетчики и уже экспортированные прототипы отдаем людям на оценку. Результат – пройденный тест, фидбек респондента и запись скринкаста. Здесь я планирую показать примеры исследований почты и поисковой выдачи.

С помощью Толоки можно оценивать не только интерфейсы, но и видеофайлы. Так можно получить фидбек от респондентов и усовершенствовать видеосюжет. Здесь планирую показать пример тестов видеорекламы Яндекс.Алисы

Transcript

1. Удаленные UX-тесты на базе Яндекс.Толоки Дмитрий Браженко, менеджер-аналитик, группа анализа экспериментов
2. Краудсорсинг Особый способ построения бизнес-процессов Большая задача Облако исполнителей Результат
3. Пример: расшифровка в текст
4. Пример: бинарная классификация Эта кошка белая? Да Нет
5. Краудсорсинговая платформа: двусторонний рынок Исполнители Заказчики
6. Сравнение карточек Эфира 6
7. Сравнение карточек Яндекс.Эфира 7 81% 19% Слон больше ассоциируется с Индией. В варианте А не совсем понятная закорючка не вызывающая ни каких ни ассоциаций, ни эмоций связанных с Индией. Я бы выбрал слона, но он ассоциируется и с Африкой. Символ справа не всем понятен, но многие догадаются о его связи с Индией
8. Сравнение карточек Яндекс.Эфира 8 Респондентов 400 человек Стоимость $ 4 Время 25 мин
9. 9 Выбор фонов для Яндекс.Телефона
12. Выбор фонов для Яндекс.Телефона 12 Респондентов 745 человек Стоимость $ 11 Время 43 мин
13. Примеры сравнений Иконки Логотипы для Эфира Тумбы для Видео Ранжирование акций в Едадиле Ответы Яндекс.Алисы Стикеры в Мессенджере
14. SbS Видео и аудио 14
15. SbS Видео и аудио 15 72% 28% Ребёнок вызывает больше приятных эмоций, чем слабак из 2-го варианта, который отжаться не может. В варианте 1 показана возможная практическая польза от алисы для развития ребёнка Более позитивный, в первом ребенок как мне кажется, не понял шутки
16. SbS Видео и аудио 16 Респондентов 200 человек Стоимость $ 10 Время 18 мин
17. Опрос на понятность иконки 17
18. Опрос на понятность иконки 18 Респондентов 100 человек Стоимость $ 1 Время 22 мин
19. Что такое <борщ>? 19
20. Что такое <борщ>? 20 Респондентов 362 человек Стоимость $ 3.62 Время 42 мин
21. Проведем эксперимент 
24. Исследование динамического онбординга
25. Исследование динамического онбординга 25 30% 70%
27. Бургер или аватарка?
28. 28 VS
29. 29 VS Среднее время до последнего клика 19 секунд 30 секунд
30. Еще один пример 
31. 31 Задание: › Нажмите на «купить полную программу»
32. 32 Среднее время до клика 8 секунд 11 секунд
33. Где найти примеры? https://github.com/dmitry-brazhenko/YAtoloka
34. Дмитрий Браженко Менеджер-аналитик brazhenko@yandex-team.ru @dmitry_brazhenko Логотип Сервиса https://github.com/dmitry-brazhenko