Метод парных сравнений для оценки привлекательности дизайна Измеряем первое впечатление от дизайна при равных условиях 

2 История Луис Леон Тёрстоун изучал электронику и работал у Томаса Эдисона. В 1914 Тёрстоун пошёл изучать психологию в институте Карнеги и первым стал применять математические методы в психологии и социологии. Со своими коллегами он придумал более 30 шкал оценки отношения людей к церкви, цензуре и власти. А позже сформулировал закон сравнительных суждений, на котором и базируется метод парных сравнений. 

3 Метод парных сравнений Суть метода Из пары объектов нужно выбрать один за ограниченное время. В итоге каждый из объектов оценивается определённым образом и вычисляется, какой объект чаще всего выбирали и по какому критерию. Когда нужен метод парных сравнений? • Нужно сравнить два варианта сходного качества; • Нужно получить ответ вне зависимости от колебания мнения респондентов; • Нужно провести исследование удалённо. Как проводится исследование? 1. Респонденты выбирают понравившийся вариант из пары в случайном порядке. Одна и та же пара оценивается несколько раз. 2. Исследователь рассчитывает вероятность выбора для каждого из вариантов в паре. Вероятность выбора каждого варианта преобразуется в нормализованные оценки. 3. Исследователь определяет выигравший вариант. 

4 Возможности применения Метод парных сравнений подходит, когда дизайн-решения сравнимого качества и нельзя выбрать графический дизайн экспертно. Парные сравнения используют не только для выбора более привлекательного дизайна, но и лучшего товара, машины для семьи или наиболее подходящего работника для вакансии. На сайте 1000minds.com есть более 100 готовых моделей для принятия решений. Кадр из фильма «Социальная сеть»: выбор наиболее привлекательного студента методом парных сравнений 

5 1000minds.com Готовые модели 

6 Для чего ещё использовать? • Принятие решений по любым вопросам от покупки дома до выбора пиццы или кредитной карты; • Интерактив в социальных сетях: битва платьев, выбор мисс мира или лучшей фалафельной; Например, как одеться сегодня? 

7 Приложение для выбора продукта методом парных сравнений Приложения для выбора телефона или напитков в баре 

8 Тестирование нескольких вариантов дизайна для банка Русский Стандарт Исследование Варианты дизайна Результаты 

9 Исследование Задача: Выбрать наиболее привлекательный дизайн приложения банка Русский Стандарт из 3 вариантов и сравнить со старой версией сайта. Мы использовали веб-приложение для сравнения 3 экранов каждого из дизайн- вариантов и старой версии №0: 1. Главная страница; 2. Список продуктов; 3. Экран подтверждения платежа. Ход исследования: Респонденты оценивали варианты попарно, в каждой паре выбирая, который больше нравится. Сравнивались между собой только аналогичные варианты: главная с главной, список продуктов со списком, оплата с оплатой. Каждая пара предъявлялась 4 раза. Итого респонденты оценивали 72 пары, предъявленные в случайном порядке. Время предъявления каждой пары было ограничено 5 секундами. 

10 №0 

11 №1 

12 №2 

13 №3 

14 Требования к сервису Одновременный просмотр нескольких изображений, чтобы респонденты не запоминали, как выглядели страницы Отображение изображений, приближенных к реальным Настройка количества повторного показа пар Автоматическая генерация пар для просмотра 

15 Проведение исследования на сервисе USABILITYLAB 

16 Результаты по вариантам дизайна Участников: 73 Итог: вариант 1 значительно обгоняет другие варианты дизайна, его предпочитают респонденты в 69% случаев. Старый дизайн приложения получил наиболее низкую оценку, новые варианты дизайна нравятся пользователям больше, однако, вариант 2 не даёт значительные улучшения по сравнению со старым дизайном. Нормализованна я оценка Вероятность выбора Вариант 0, старый дизайн -0,4 35% Вариант 1 0,49 69% Вариант 2 -0,28 39% Вариант 3 0,19 57% 

17 Результаты по экранам Для отдельных экранов оценки незначительно колеблются, но порядок вариантов не меняется. Главная Список продуктов Платёж Нормализованна я оценка Вероятност ь выбора Нормализованна я оценка Вероятность выбора Нормализованн ая оценка Вероятност ь выбора Вариант 0 -0.41 34% -0.43 34% -0.35 36% Вариант 1 0.45 67% 0.6 73% 0.43 67% Вариант 2 -0.23 42% -0.43 33% -0.18 43% Вариант 3 0.19 57% 0.26 59% 0.1 54% 

18 Вопросы после тестирования 1. Какая страница понравилась вам больше прочих? Что делает ее привлекательной? 2. Какая страница вам понравилась меньше всего? Почему? 3. Сталкивались ли вы с трудностями при оценке? Какими? 4. Обращаете ли вы внимание на дизайн, когда посещаете такие сайты? 5. Насколько корректным вы считаете основной вопрос? Выбор между устаревшим и современным дизайном проще выбора из вариантов сравнимого качества Если все варианты «плохие», мы не узнаем об этом 

19 Как использовать парное сравнение внутри компании 

20 Выбор аудитории Иногда клиентам тяжело определить аудиторию, ведь их сервисами пользуются «все». В случае государственных ресурсов – это действительно так, но для eCommerce как правило нужно более чётко идентифицировать аудиторию. Мы используем парное сравнение, чтобы понять, кто эти все. Наша аудитория – все!!! 10 параметров аудитории: 1. География 2. Пол 3. Возраст 4. Опыт работы в продукте 5. Образование 6. Семейное положение 7. Наличие детей 8. Сфера деятельности 9. Должность 10.Занятость 10 параметров аудитории: 1. География 2. Пол 3. Возраст 4. Опыт работы в продукте 5. Образование 6. Семейное положение 7. Наличие детей 8. Сфера деятельности 9. Должность 10.Занятость 

21 1000minds.com Уточняем аудиторию 

22 Выбор дизайна для нашего сайта 1 2 3 4 5 6 

23 Какой вариант страницы вам больше нравится? Вариант А Вариант Б 

24 Какой вариант дизайна подойдёт нам больше? Дмитрий Силаев +7 (926) 492 05 50 [email protected] rating.usabilitylab.ru + 7 (495) 933-01-37 [email protected] Пройдите тест 

25 Что почитать на эту тему? The Vectors of Mind, L.L.Thurstone The Nature of Intelligence, L.L.Thurstone «Если интерпретация результатов туманна, то таким будет и все исследование в целом, сколь бы изящной ни была статистическая обработка…»