Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Использование качественного сравнительного анализа (QCA) в удаленных юзабилити-тестах

Использование качественного сравнительного анализа (QCA) в удаленных юзабилити-тестах

Сергей Розум
Доклад рассчитан на профессиональных UX-аналитиков, которые часто используют удаленные тесты в работе.

Сейчас все известные методы оценки критичности интерфейсных проблем завязаны на экспертной оценке.
Критериев для оценки проблемы может быть больше и меньше, анализ может быть коллективным, слепым или контекстным, но все равно все зависит от опыта аналитика.

На это есть свои причины: большое количество возможных связей, сложность в выборе одной оценки, несколько разных метрик для результата.

Что важнее: время или успешность? А может удовлетворенность? Как вообще оценивать частоту, если выборка качественная?

Мы в Фабрике Юзабилити решили обратиться к опыту научных исследований, чтобы попробовать ответить на эти вопросы и представляем результат нашего труда — методику качественного сравнительного анализа для критичности интерфейсных проблем. Качественный Сравнительный Анализ (QCA) — методика довольно молодая. Но ее уже широко применяют в маркетинге, политике и социологии для тех исследований, где малая выборка не позволяет использовать количественные методы, но опираться исключительно на качественный анализ не хочется.

Качественный сравнительный анализ основан на более глубоком понимании причинно-следственных связей и помогает нам понять саму механику влияния проблем на результат. Используя эти особенности QCA, мы смогли выработать новую методику для оценки критичности проблемы.

В докладе я подробно расскажу о данном методе, его возможностях, сильных и слабых сторонах и покажу, как его можно использовать на реальных данных.

ProfsoUX 2018

April 14, 2018
Tweet

More Decks by ProfsoUX 2018

Other Decks in Business

Transcript

  1. 2 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ЮЗАБИЛИТИ ПРОБЛЕМА Юзабилити-проблема –

    это элемент или требование системы, которое делает процесс выполнения пользовательской задачи неприятным, неэффективным, трудным, или вообще невозможным. Lavery, Cockton & Atkinson (1997) Основные свойства юзабилити-проблемы: • Частота • Критичность
  2. 3 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ КАКАЯ ПРОБЛЕМА КРИТИЧНЕЕ? Форма

    ввода телефона непонятна. Неясен необходимый формат, не хватает маски ввода. Кнопка «OK» путает пользователей. Непонятно, это завершение регистрации или регистрация с помощью сети «Одноклассники»
  3. 4 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ КРИТИЧНОСТЬ ЮЗАБИЛИТИ-ПРОБЛЕМЫ Level Nielsen

    Rubin Dumas Wilson Molich & Jeffies Saufo 0 Not a Pfoblem Insight/ Suggeston/ Positve 1 Cosmetc Iffitant Subtle & possible enhancements/ suggestons Minof cosmetc of consistency issue Minof (delays usef bfiefyy) Minof : Some hesitaton of slight iffitaton 2 Minof Modefate Pfoblems have a minof efect on usability Minof but iffitatng pfoblem 3 Majof Sevefe Cfeates signifcant delay and ffustfaton Modefate pfoblem Sefious (delays usef signifcantly but eventuallyy) Modefate: Causes occasional task failufe fof some usefs; causes delays and modefate iffitaton 4 Unusable Pfevents Task Completon Sevefe pfoblem Cfitcal: Leads to task failufe. Causes usef extfeme iffitaton. 5 Catastfophe Catastfophic effof Catastfophic (pfevents usef ffom completng theif tasky)
  4. 5 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ЧТО ТАКОЕ QCA? QCA

    (Qualitatve compafatve analysis – сравнительный качественный анализy) – качественно-количественная методика для анализа причинно-следственных связей. • Построена на булевой логике и теории множеств • Позволяет применять количественные методы на малой выборке (от 20ти человекy)
  5. 6 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ПОСТОЯНСТВО И ВАЖНОСТЬ Постоянство

    – то, насколько часто причина связана со следствием. Важность – то, насколько часто следствие связано с этой конкретной причиной. КАТАСТРОФА КНОПКА НЕПОНЯТНА
  6. 8 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ КАК ОПРЕДЕЛИТЬ КАТАСТРОФУ? SUM

    (Single Usability Metfic – Единая Метрика Юзабилитиy) – составной индекс, использующий для оценки параметры эффективности, удовлетворенности и продуктивности при выполнении задания. Для расчета мы используем специальный калькулятор, который можно скачать на сайте MeasufingU. Катастрофа – это значение SUM ниже медианного по всем респондентам.
  7. 10 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA А – сколько не пришедших к катастрофе испытывали эту проблему КАТАСТРОФА КНОПКА НЕПОНЯТНА A Нет катастрофы Есть катастрофа Есть проблема A C Нет проблемы B D
  8. 11 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA А – сколько не пришедших к катастрофе респондентов испытывали эту проблему B – сколько респондентов не встретились с проблемой и не пришли к катастрофе КАТАСТРОФА КНОПКА НЕПОНЯТНА A B Нет катастрофы Есть катастрофа Есть проблема A C Нет проблемы B D
  9. 12 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA А – сколько не пришедших к катастрофе респондентов испытывали эту проблему B – сколько респондентов не встретились с проблемой и не пришли к катастрофе С – сколько респондентов испытывали проблему и пришли к катастрофе КАТАСТРОФА КНОПКА НЕПОНЯТНА A B C Нет катастрофы Есть катастрофа Есть проблема A C Нет проблемы B D
  10. 13 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA А – сколько не пришедших к катастрофе респондентов испытывали эту проблему B – сколько респондентов не встретились с проблемой и не пришли к катастрофе С – сколько респондентов испытывали проблему и пришли к катастрофе D – сколько респондентов не столкнулись с проблемой и пришли к катастрофе КАТАСТРОФА КНОПКА НЕПОНЯТНА A B C D Нет катастрофы Есть катастрофа Есть проблема A C Нет проблемы B D
  11. 14 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA Постоянство - соотношение пришедших к катастрофе респондентов, которые столкнулись с проблемой (С) с общим числом столкнувшихся с проблемой респондентов (A+C) Постоянство = A/(A+C) Важность - соотношение пришедших к катастрофе респондентов, которые столкнулись с проблемой (С) с общим числом пришедших к катастрофе респондентов (D+C) Важность = C/(D+C) Нет катастрофы Есть катастрофа Есть проблема A C Нет проблемы B D
  12. 15 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ СЧИТАЕМ ВАЖНОСТЬ И ПОСТОЯНСТВО

    С QCA Получается, что для проблемы «Не отметил, что может предоставить дополнительные документы» постоянство будет (С/A+C) равно 0,33, а важность (C/D+C) – 0,2. Нет катастрофы Есть катастрофа Есть проблема 4 2 Нет проблемы 9 8
  13. 16 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ИНТЕРПРЕТИРУЕМ РЕЗУЛЬТАТЫ Получившиеся в

    этом процессе цифры мы можем использовать для того, чтобы выявить самые «важные» проблемы, а из них выбрать самые «постоянные», чтобы получить список наиболее технических проблем.
  14. 17 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ОГРАНИЧЕНИЯ МЕТОДА 1. Размер

    выборки – не меньше 20 человек* 2. Количество проблем - +/- 6 штук* 3. Если пользовательских путей слишком много, то данные сложно анализировать *По информации BeterEvaluatio
  15. 18 ИСПОЛЬЗОВАНИЕ QCA В УДАЛЕННЫХ ЮЗАБИЛИТИ-ТЕСТАХ ЧТО ПОЧИТАТЬ? • Ratng

    the sevefity of usability pfoblems – статья от Джеффа Соро про критичность юзабилити проблем • Qualitatve Compafatve Analysis от Betef Evaluaton – вводная статья • Compafatve methods fof systematc cfoss-case analysis (COMPASSSy) – ассоциация ученых, использующих сравнительные методы, много полезных статей с кейсами применения QCA • QCA with R - A Compfehensive Resoufce by Adfian Dușa – огромный гид по использованию QCA в R, одновременно учит основам работы с R, теории QCA, и практическому применению метода