Share
Embed
Cosas que nadie te cuenta sobre métricas
Cuando pensamos en métricas solemos hablar de herramientas, datos cuantitativos, y esa difusa pero omnipresente idea de "ser data driven".
La idea de esta charla es ofrecer una mirada más allá del enfoque tradicional y ver algunos tips, metodologias y herramientas para hacer el trabajo con métricas más eficiente.
Esta es la charla que dí en el UXDay 2022 organizado por el equipo de Santander Tecnología Argentina.
Sol Mesz
June 10, 2022
Transcript
50 slides
-
Sol Mesz [email protected] Cosas que nadie te cuenta sobre métricas
Junio 2022 UXDay @Santander Tecnología Argentina -
Me presento… 2 Presentando el modelo de Customer Journey para
experiencias multi-device en Interaction 16, Helsinki. • Tengo más de 15 años de experiencia como Product Manager, ayudando a las empresas a validar ideas, crear, mejorar y hacer crecer productos existentes. • Trabajé en diferentes industrias y modelos de negocio, para empresas Fortune 10, start- ups y ONGs. Participé en proyectos para Argentina, Estados Unidos y Australia. • Actualmente ayudo a las empresas a potenciar el diseño para mejorar sus resultados de negocio. -
Definición técnica Definición práctica, intuitiva MAU (Monthly Active Users) “Cuántos
usuarios activos tuvimos este mes?” Average Cart Value “Cuánto gastan en promedio los clientes por compra?” Time to purchase “Cuánto tiempo tardan los usuarios entre que visitan el sitio y realizan una compra?” -
El problema con las herramientas "Cualquiera puede usar una herramienta.
Hacer click es fácil. Lo que importa es la ejecución" -
Manejar una herramienta a la perfección no sirve de nada
si no se sabe qué métricas usar, cómo analizarlas, qué hacer con ellas -
Una buena métrica es accionable Aportar información para: • Tomar
decisiones • Entender qué está pasando -
Métricas vanidosas Se llaman vanidosas porque nos hacen ver bien,
pero no aportan información accionable. Hablan de cantidad pero no de calidad. Siempre crecen, pero sólo porque son acumulativas. Cantidad de visitas, pageviews, seguidores, suscriptores al mail. -
Métricas vanidosas Cantidad de usuarios Cantidad de descargas de la
app Cantidad de tarjetas emitidas Muestran volumen Número sin contexto -
Métricas vanidosas Métricas accionables Cantidad de usuarios Cantidad de usuarios
que hicieron una compra Cantidad de descargas de la app Cantidad de usuarios activos de la app Cantidad de tarjetas emitidas Cantidad de tarjetas activas Muestran volumen Número sin contexto Muestran resultado Contextualizan la información -
Total usuarios activos por mes Ene Feb Mar Total usuarios
registrados Ene Feb Mar • Desagregando el total en segmentos, períodos, etc. • Relacionándolo con una acción o resultado Cómo convertir métricas vanidosas en accionables? VANIDOSA ACCIONABLE -
CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica
Personalizada, observación directa (entrevistas) CALL CENTER APPSTORE REDES SOCIALES -
CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica
Personalizada, observación directa (entrevistas) Una muestra grande de información personalizada CALL CENTER APPSTORE REDES SOCIALES INFORMACIÓN CUALITATIVA EN CANTIDAD -
CALL CENTER APPSTORE REDES SOCIALES Son una fuente de información
cualitativa de muchísimo valor frecuentemente sub-utilizada -
Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews
Pruebas de usabilidad Analytics Métricas A/B Testing Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números Historias Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527 -
Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a
crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números La base de las métricas cuantitativas Historias Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews Pruebas de usabilidad Analytics Métricas A/B Testing Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527 -
Qué problema buscan resolver los usuarios? Qué apoya/impide la conversión?
Permite definir métricas Identificar métricas para monitorear la salud del producto/ negocio Entender el problema Cuantificar esos segmentos o patrones Identificar patrones de uso, segmentos de usuario -
Tricia Wang https://www.ted.com/talks/tricia_wang_the_human_insights_missing_from_big_data THICK DATA Data from human beings that
cannot be quantified • Bajo volumen • Alto sentido • Le da contexto al análisis Tricia Wang -
Questions first "Qué datos queremos sacar?" Nos saca de foco
y nos llena de datos que hacen ruido. "Qué preguntas queremos contestar?" Nos ayuda a encontrar los datos relevantes. -
Questions first “If I had an hour to solve a
problem I would spend the first 55 minutes determining the proper question to ask, for once I know the proper question, I could solve the problem in less than five minutes.” Albert Einstein -
Questions first 1 Definir las preguntas que queremos contestar Data
later 2 Definir las métricas que contestan las preguntas • Nos permite elegir los datos relevantes • Le da sentido a los números • Nos permite identificar dónde están los datos (no todo está en Google Analytics) Core action o Critical User Journey Métricas Qué comportamiento de los usuarios tendríamos que observar para responder la pregunta? Qué métricas están asociadas a esos comportamientos? Metodología “Questions first” -
Questions first 1 Definir las preguntas que queremos contestar Data
later 2 Definir las métricas que contestan las preguntas Pegunta Core action / Critical user journey Métricas Cómo sabemos si a los usuarios les interesa nuestro catálogo? • Recorren el sitio y exploran los productos • Van a las páginas de producto • Pasan tiempo en las páginas de producto viendo de qué se trata • Cantidad de páginas de producto vistas por visita (product pages/visit) • Flujo de navegación (para ver si hay exploración de productos) • Time on page (solamente como indicador secundario) • Scroll (solamente como indicador secundario) -
Questions first 1 Definir las preguntas que queremos contestar Data
later 2 Definir las métricas que contestan las preguntas Pregunta Core action o Critical User Journey Métricas https://www.solmesz.com/es/blog-es/como-definir-metricas-usando-el-enfoque-questions-first -
Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT NEGOCIO OUTPUT PRODUCTO OUTPUT USUARIO
VALUE Comprensión Utilidad Experiencia Satisfacción Valor PERFORMANCE Uso Ventas Ticket promedio Churn Frecuencia REVENUE Rentabilidad Costos de atención CLTV Loyalty NPS Las mejoras se planean y se miden de manera independiente, sin una visión global. -
Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO
Abrir cuenta en U$D • 100% online • Sin ser cliente • Sin costo VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD -
Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO
Si el resultado local es bueno, pero el balance global no tanto… VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD -
Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO
VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD Qué tan positivo es el resultado? 🤔 🤔 -
DATA DRIVEN DATA INFORMED Los datos cuantitativos son el único
input para la toma de decisiones Los datos cuantitativos se usan como un input más para tomar decisiones Sirven para optimizar dentro de rangos o variables conocidas Permite encontrar nuevos rangos o variables Para proceso de optimización Para procesos de innovación -
Data driven Data informed Máxima Local $500 - $800 Máxima
global $5000 A/B testing: cuál es mejor precio dentro de un rango específico Entrevistas: cuál es el mejor precio posible? -
Y tampoco una lista de métricas a seguir. No hay
una fórmula mágica para definir el ROI del diseño. -
Por qué no existe “el ROI del Diseño”? (como medida
standard) • ROI es la comparación entre Retorno e Inversión, por lo cual, cada proyecto va a tener una inversión particular y va a esperar un retorno específico. • No hay dos proyectos iguales: cada proyecto resuelve un problema distinto, por lo cual no se puede definir a priori una lista de métricas que se ajusten a cualquier tipo de proyecto. https://solmesz.medium.com/el-roi-del-diseno-no-existe-fc47a9fe1e73 -
Definir objetivos Qué problema estamos resolviendo? Definir métricas Qué métricas
vamos a usar para saber si lo logramos? Definir resultados Qué beneficio esperamos? -
El criterio es más importante que las herramientas Se puede
tener datos cualitativos a escala No todas las métricas valen lo mismo Una pregunta vale más que mil métricas No estamos viendo la historia completa No es bueno ser data driven (es mejor ser data minded) Necesitamos información cualitativa para trabajar con métricas El ROI del Diseño no existe -
Muchas gracias! Sol Mesz Diseño y Estrategia de Producto [email protected]
linkedin.com/in/solmesz/ medium.com/@solmesz