Card Sorting

In this talk we go through what card sorting is, its methods and variations, how to conduct a card sorting session and how to analyze the data we get from it.

We shared this talk on the IxDA Montevideo Meetup:
http://www.meetup.com/Interaction-design-Uruguay/events/125019622/

Transcript

1. Card Sorting
   Vero Rebagliatte
   

   View Slide

2. Vero Rebagliatte
   @rebagliatte
   

   View Slide

3. Forecast
   

   View Slide

4. Forecast
   • Definition
   • Card sorting methods
   • Variations
   • Preventing biases
   • Analyzing results
   • Hands on!
   

   View Slide

5. Definition
   

   View Slide

6. Card sorting is a user-centered design
   method for increasing a system’s findability.
   The process involves sorting a series of
   cards, each labeled with a piece of content or
   functionality, into groups that make sense to
   users or participants.
   - Donna Spencer
   

   View Slide

7. It’s a user-centered design method
   

   View Slide

8. Helps to create or revise hierarchical organizations
   En general se usa para determinar que hacer con 3 piezas de IA super importantes:
   navegación, menu principal y taxonomías
   

   View Slide

9. It’s performed by users
   No managers, no diseñadores, usuarios finales
   

   View Slide

10. It allows us to get their mental models
    La idea es encontrar patrones sobre como ellos esperan encontrar contenidos o
    funcionalidades, como llaman a las cosas en su dominio. A estos patrones se les llama
    modelos mentales
    

    View Slide

11. It’s inexpensive
    

    View Slide

12. It’s quick to execute
    

    View Slide

13. It’s established
    Hace casi 20 años que lo usan y sigue vigente
    

    View Slide

14. Card sorting methods
    

    View Slide

15. Basic
    Se toman elementos a clasificar y se los escribe en tarjetas.
    Estos elementos pueden ser: ítems de navegacion, features, conceptos, piezas de contenido,
    imágenes, etc.
    A veces vale la pena escribir al dorso de la tarjeta informacion complementaria para que no
    quede duda de lo que la tarjeta representa.
    Elegir los usuarios representativos tambien es importante. Se puede hacer individualmente o
    en grupos de hasta 4 personas.
    El método consiste en darle un set de tarjetas a los usuarios y pedirles que las ordenen de
    forma que tengan sentido para ellos. También se les pide que piensen en voz alta mientras lo
    hacen.
    

    View Slide

16. Open
    Luego de agrupar las tarjetas el usuario tiene que asignarle un nombre a cada grupo. Por eso
    se dice que es generativo. Si es moderado se le pide que describa al grupo, sino se le pide
    solo que lo nombre
    

    View Slide

17. Closed
    El usuario tiene que agrupar los conceptos en un set de categorías pre definidas. Por eso se
    dice que es evaluativo
    

    View Slide

18. Moderated
    Con una persona presente. Esto permite obtener muchos datos cualitativos.
    

    View Slide

19. Unmoderated
    Sin una persona presente con herramientas de card sorting remoto.
    

    View Slide

20. Variations
    

    View Slide

21. Open with a limited number of categories
    Para evitar que se tengan n tarjetas y n categorías
    

    View Slide

22. Open with successive card sorts
    Card sorts sucesivos, así se logra que los usuarios agrupen todo en categorias mas
    abarcativas, menos particulares
    

    View Slide

23. Reverse or tree testing
    Dado un set de tarjetas pre-agrupados, se pide al usuario que los ‘navegue’, buscando una
    tarjeta en particular.
    A esto también se le llama tree testing.
    

    View Slide

24. Preventing biases
    Tenemos que prevenir parcialidades. Es importante el contenido de las tarjetas sea lo mas
    imparcial posible, no dejando en evidencia el modelo mental del diseñador/investigador.
    

    View Slide

25. It's easy to bias study
    participants, whether in
    user testing or in card
    sorting, if they focus on
    matching stimulus words
    instead of working on the
    underlying problem.
    - Jacob Nielsen
    

    View Slide

26. Example
    En el area de la agricultura. Tenemos diferentes cultivos: frutilla, frambuesa, maiz y trigo. Y
    también diferentes actividades: plantación cultivo y cosecha.
    

    View Slide

27. • Planting
    ◦ Corn
    ◦ Raspberries
    ◦ Strawberries
    ◦ Wheat
    • Growing
    ◦ Corn
    ◦ Raspberries
    ◦ Strawberries
    ◦ Wheat
    • Strawberries
    ◦ Planting
    ◦ Growing
    ◦ Harvesting
    • Wheat
    ◦ Planting
    ◦ Growing
    ◦ Harvesting
    IA #1 IA #2
    Como investigadores llegamos a éstas estructuras y a partir de ellas generamos las tarjetas.
    

    View Slide

28. Si le damos estos dos sets de tarjetas al usuario, es obvio que el Set A va a llevar a una
    estructura como IA#2 y el set B va a llevar a una estryctura como la representada en IA#1
    

    View Slide

29. Solution: Synonyms and non-parallel structures
    Hay que hacer lo opuesto a lo que hacemos en usabilidad, trancarlos a drede para hacerlos
    pensar, no solo asociar palabras o estructuras paralelas.
    

    View Slide

30. Synonyms
    

    View Slide

31. harvest
    strawberries
    

    View Slide

32. harvest
    strawberries
    pick
    strawberries
    

    View Slide

33. Non-parallel exposition structures
    

    View Slide

34. Planting
    Corn
    

    View Slide

35. Planting
    Corn
    Wheat
    planting
    Esto viola las guías de escritura para la web, que dicen que las estructuras de exposicion
    paralela son mas fáciles de escanear
    

    View Slide

36. Analyzing Results
    

    View Slide

37. Capture the data
    

    View Slide

38. In a whiteboard or table for a small sample
    

    View Slide

39. In a spreadsheet for bigger sample sizes
    

    View Slide

40. Esta es la que usan en boxes and arrows
    

    View Slide

41. Find the dominant organization scheme
    Luego de encontrar la estructura dominante hay que ajustar los términos para que tengan
    consistencia entre sí.
    Card Sorting nos va a ayudar a entender, generar y validar estructuras pero no hace todo el
    trabajo por nosotros.
    Si queremos visualizar los outputs obtenidos a través de este metodo también podemos...
    (siguiente slide)
    

    View Slide

42. Use cluster analysis software to visualize the data
    Esto nos va a permitir generar visualizaciones de los datos obtenidos.
    Pero no se asusten! Muchas herramientas de card sorting remoto ya hacen esto por nosotros.
    A continuación vamos a ver unos ejemplos de Optimal Card Sort. Al final de la presentación
    dejamos un link a la herramienta.
    

    View Slide

43. Similarity matrix
    En la matriz de similaridad se evalúan las tarjetas de a pares. Cuántas veces se agruparon
    juntos dos tarjetas dadas. Eso genera como zonas de calor.
    

    View Slide

44. Standarization Grid
    La grilla de estandarización uestra la distribución de las tarjetas en las categorías definidas
    por el investigador. El número muestra las veces que se clasificó la tarjeta en cada categoría
    

    View Slide

45. Dendogram
    El dendograma es un diagrama en forma de árbol que ilustra clusters de datos.
    Representa porcentajes, x porcentaje de usuarios esta de acuerdo con esta forma de agrupar
    las cosas.
    La palabra dendograma viene del griego, dendron es arbol, grama es dibujo.
    

    View Slide

46. PCA - Participant Centric Analysis
    El PCA devuelve los árboles completos con los que la gente coincidió más. Los más
    aceptables.
    

    View Slide

47. Conclusion
    Card Sorting nos va a ayudar a entender, generar y validar estructuras pero no hace todo el
    trabajo por nosotros.
    Nosotros somos responsables de generar una arquitectura de la información apropiada y
    lograr que el usuario encuentre lo que busca y entienda lo que encuentra.
    

    View Slide

48. References and Tools
    • http://boxesandarrows.com/card-sorting-a-definitive-guide/
    • http://www.interaction-design.org/encyclopedia/card_sorting.html
    • http://www.nngroup.com/articles/card-sorting-how-many-users-to-test/
    • http://www.nngroup.com/articles/card-sorting-terminology-matches/
    • http://www.amazon.com/exec/obidos/tg/detail/-/0596000359/ref=nosim/
    boxesandarrows-20
    • http://www.optimalworkshop.com/optimalsort.htm
    

    View Slide

49. Thanks! Questions?
    @rebagliatte
    

    View Slide