Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Cosas que nadie te cuenta sobre métricas

Sol Mesz
June 10, 2022

Cosas que nadie te cuenta sobre métricas

Cuando pensamos en métricas solemos hablar de herramientas, datos cuantitativos, y esa difusa pero omnipresente idea de "ser data driven".

La idea de esta charla es ofrecer una mirada más allá del enfoque tradicional y ver algunos tips, metodologias y herramientas para hacer el trabajo con métricas más eficiente.

Esta es la charla que dí en el UXDay 2022 organizado por el equipo de Santander Tecnología Argentina.

Sol Mesz

June 10, 2022
Tweet

More Decks by Sol Mesz

Other Decks in Design

Transcript

  1. Sol Mesz [email protected] Cosas que nadie te cuenta sobre métricas

    Junio 2022 UXDay @Santander Tecnología Argentina
  2. Me presento… 2 Presentando el modelo de Customer Journey para

    experiencias multi-device en Interaction 16, Helsinki. • Tengo más de 15 años de experiencia como Product Manager, ayudando a las empresas a validar ideas, crear, mejorar y hacer crecer productos existentes. • Trabajé en diferentes industrias y modelos de negocio, para empresas Fortune 10, start- ups y ONGs. Participé en proyectos para Argentina, Estados Unidos y Australia. • Actualmente ayudo a las empresas a potenciar el diseño para mejorar sus resultados de negocio.
  3. Definición técnica Definición práctica, intuitiva MAU (Monthly Active Users) “Cuántos

    usuarios activos tuvimos este mes?” Average Cart Value “Cuánto gastan en promedio los clientes por compra?” Time to purchase “Cuánto tiempo tardan los usuarios entre que visitan el sitio y realizan una compra?”
  4. El problema con las herramientas "Cualquiera puede usar una herramienta.

    Hacer click es fácil. Lo que importa es la ejecución"
  5. Manejar una herramienta a la perfección no sirve de nada

    si no se sabe qué métricas usar, cómo analizarlas, qué hacer con ellas
  6. Métricas vanidosas Se llaman vanidosas porque nos hacen ver bien,

    pero no aportan información accionable. Hablan de cantidad pero no de calidad. Siempre crecen, pero sólo porque son acumulativas. Cantidad de visitas, pageviews, seguidores, suscriptores al mail.
  7. Métricas vanidosas Cantidad de usuarios Cantidad de descargas de la

    app Cantidad de tarjetas emitidas Muestran volumen Número sin contexto
  8. Métricas vanidosas Métricas accionables Cantidad de usuarios Cantidad de usuarios

    que hicieron una compra Cantidad de descargas de la app Cantidad de usuarios activos de la app Cantidad de tarjetas emitidas Cantidad de tarjetas activas Muestran volumen Número sin contexto Muestran resultado Contextualizan la información
  9. Total usuarios activos por mes Ene Feb Mar Total usuarios

    registrados Ene Feb Mar • Desagregando el total en segmentos, períodos, etc. • Relacionándolo con una acción o resultado Cómo convertir métricas vanidosas en accionables? VANIDOSA ACCIONABLE
  10. CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica

    Personalizada, observación directa (entrevistas) CALL CENTER APPSTORE REDES SOCIALES
  11. CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica

    Personalizada, observación directa (entrevistas) Una muestra grande de información personalizada CALL CENTER APPSTORE REDES SOCIALES INFORMACIÓN CUALITATIVA EN CANTIDAD
  12. CALL CENTER APPSTORE REDES SOCIALES Son una fuente de información

    cualitativa de muchísimo valor frecuentemente sub-utilizada
  13. Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews

    Pruebas de usabilidad Analytics Métricas A/B Testing Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números Historias Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527
  14. Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a

    crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números La base de las métricas cuantitativas Historias Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews Pruebas de usabilidad Analytics Métricas A/B Testing Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527
  15. Qué problema buscan resolver los usuarios? Qué apoya/impide la conversión?

    Permite definir métricas Identificar métricas para monitorear la salud del producto/ negocio Entender el problema Cuantificar esos segmentos o patrones Identificar patrones de uso, segmentos de usuario
  16. Tricia Wang https://www.ted.com/talks/tricia_wang_the_human_insights_missing_from_big_data THICK DATA Data from human beings that

    cannot be quantified • Bajo volumen • Alto sentido • Le da contexto al análisis Tricia Wang
  17. Questions first "Qué datos queremos sacar?" Nos saca de foco

    y nos llena de datos que hacen ruido. "Qué preguntas queremos contestar?" Nos ayuda a encontrar los datos relevantes.
  18. Questions first “If I had an hour to solve a

    problem I would spend the first 55 minutes determining the proper question to ask, for once I know the proper question, I could solve the problem in less than five minutes.” Albert Einstein
  19. Questions first 1 Definir las preguntas que queremos contestar Data

    later 2 Definir las métricas que contestan las preguntas • Nos permite elegir los datos relevantes • Le da sentido a los números • Nos permite identificar dónde están los datos (no todo está en Google Analytics) Core action o Critical User Journey Métricas Qué comportamiento de los usuarios tendríamos que observar para responder la pregunta? Qué métricas están asociadas a esos comportamientos? Metodología “Questions first”
  20. Questions first 1 Definir las preguntas que queremos contestar Data

    later 2 Definir las métricas que contestan las preguntas Pegunta Core action / Critical user journey Métricas Cómo sabemos si a los usuarios les interesa nuestro catálogo? • Recorren el sitio y exploran los productos • Van a las páginas de producto • Pasan tiempo en las páginas de producto viendo de qué se trata • Cantidad de páginas de producto vistas por visita (product pages/visit) • Flujo de navegación (para ver si hay exploración de productos) • Time on page (solamente como indicador secundario) • Scroll (solamente como indicador secundario)
  21. Questions first 1 Definir las preguntas que queremos contestar Data

    later 2 Definir las métricas que contestan las preguntas Pregunta Core action o Critical User Journey Métricas https://www.solmesz.com/es/blog-es/como-definir-metricas-usando-el-enfoque-questions-first
  22. Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT NEGOCIO OUTPUT PRODUCTO OUTPUT USUARIO

    VALUE Comprensión Utilidad Experiencia Satisfacción Valor PERFORMANCE Uso Ventas Ticket promedio Churn Frecuencia REVENUE Rentabilidad Costos de atención CLTV Loyalty NPS Las mejoras se planean y se miden de manera independiente, sin una visión global.
  23. Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO

    Abrir cuenta en U$D • 100% online • Sin ser cliente • Sin costo VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD
  24. Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO

    Si el resultado local es bueno, pero el balance global no tanto… VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD
  25. Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO

    VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD Qué tan positivo es el resultado? 🤔 🤔
  26. DATA DRIVEN DATA INFORMED Los datos cuantitativos son el único

    input para la toma de decisiones Los datos cuantitativos se usan como un input más para tomar decisiones Sirven para optimizar dentro de rangos o variables conocidas Permite encontrar nuevos rangos o variables Para proceso de optimización Para procesos de innovación
  27. Data driven Data informed Máxima Local $500 - $800 Máxima

    global $5000 A/B testing: cuál es mejor precio dentro de un rango específico Entrevistas: cuál es el mejor precio posible?
  28. Y tampoco una lista de métricas a seguir. No hay

    una fórmula mágica para definir el ROI del diseño.
  29. Por qué no existe “el ROI del Diseño”? (como medida

    standard) • ROI es la comparación entre Retorno e Inversión, por lo cual, cada proyecto va a tener una inversión particular y va a esperar un retorno específico. • No hay dos proyectos iguales: cada proyecto resuelve un problema distinto, por lo cual no se puede definir a priori una lista de métricas que se ajusten a cualquier tipo de proyecto. https://solmesz.medium.com/el-roi-del-diseno-no-existe-fc47a9fe1e73
  30. Definir objetivos Qué problema estamos resolviendo? Definir métricas Qué métricas

    vamos a usar para saber si lo logramos? Definir resultados Qué beneficio esperamos?
  31. El criterio es más importante que las herramientas Se puede

    tener datos cualitativos a escala No todas las métricas valen lo mismo Una pregunta vale más que mil métricas No estamos viendo la historia completa No es bueno ser data driven (es mejor ser data minded) Necesitamos información cualitativa para trabajar con métricas El ROI del Diseño no existe