Sol Mesz [email protected] Cosas que nadie te cuenta sobre métricas Junio 2022 UXDay @Santander Tecnología Argentina

Me presento… 2 Presentando el modelo de Customer Journey para experiencias multi-device en Interaction 16, Helsinki. • Tengo más de 15 años de experiencia como Product Manager, ayudando a las empresas a validar ideas, crear, mejorar y hacer crecer productos existentes. • Trabajé en diferentes industrias y modelos de negocio, para empresas Fortune 10, start- ups y ONGs. Participé en proyectos para Argentina, Estados Unidos y Australia. • Actualmente ayudo a las empresas a potenciar el diseño para mejorar sus resultados de negocio.

“No sé de métricas”

Definición técnica Definición práctica, intuitiva MAU (Monthly Active Users) “Cuántos usuarios activos tuvimos este mes?” Average Cart Value “Cuánto gastan en promedio los clientes por compra?” Time to purchase “Cuánto tiempo tardan los usuarios entre que visitan el sitio y realizan una compra?”

Cosas que nadie te cuenta sobre métricas

El criterio es más importante que las herramientas

El problema con las herramientas "Cualquiera puede usar una herramienta. Hacer click es fácil. Lo que importa es la ejecución"

Manejar una herramienta a la perfección no sirve de nada si no se sabe qué métricas usar, cómo analizarlas, qué hacer con ellas

Criterio mata herramienta

No todas las métricas valen lo mismo

Una buena métrica es accionable Aportar información para: • Tomar decisiones • Entender qué está pasando

Métricas vanidosas Se llaman vanidosas porque nos hacen ver bien, pero no aportan información accionable. Hablan de cantidad pero no de calidad. Siempre crecen, pero sólo porque son acumulativas. Cantidad de visitas, pageviews, seguidores, suscriptores al mail.

Métricas vanidosas Cantidad de usuarios Cantidad de descargas de la app Cantidad de tarjetas emitidas Muestran volumen Número sin contexto

Métricas vanidosas Métricas accionables Cantidad de usuarios Cantidad de usuarios que hicieron una compra Cantidad de descargas de la app Cantidad de usuarios activos de la app Cantidad de tarjetas emitidas Cantidad de tarjetas activas Muestran volumen Número sin contexto Muestran resultado Contextualizan la información

Total usuarios activos por mes Ene Feb Mar Total usuarios registrados Ene Feb Mar • Desagregando el total en segmentos, períodos, etc. • Relacionándolo con una acción o resultado Cómo convertir métricas vanidosas en accionables? VANIDOSA ACCIONABLE

Se puede tener datos cualitativos a escala

CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica Personalizada, observación directa (entrevistas) CALL CENTER APPSTORE REDES SOCIALES

CUALITATIVA CUANTITATIVA Muestra grande Impersonal, observación indirecta (encuestas) Muestra chica Personalizada, observación directa (entrevistas) Una muestra grande de información personalizada CALL CENTER APPSTORE REDES SOCIALES INFORMACIÓN CUALITATIVA EN CANTIDAD

CALL CENTER APPSTORE REDES SOCIALES Son una fuente de información cualitativa de muchísimo valor frecuentemente sub-utilizada

Necesitamos información cualitativa para trabajar con métricas

Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews Pruebas de usabilidad Analytics Métricas A/B Testing Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números Historias Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527

Cuantitativo Qué pasa Cualitativo Por qué pasa Generativo Ayuda a crear nuevas ideas Evaluativo Ayuda a evaluar o validar ideas Números La base de las métricas cuantitativas Historias Entrevistas cualitativas Observaciones Etnografía Encuestas Big data Call center Reviews Pruebas de usabilidad Analytics Métricas A/B Testing Kate Rutter, Finding the narrative in numbers https://vimeo.com/275490527

Qué problema buscan resolver los usuarios? Qué apoya/impide la conversión? Permite definir métricas Identificar métricas para monitorear la salud del producto/ negocio Entender el problema Cuantificar esos segmentos o patrones Identificar patrones de uso, segmentos de usuario

Tricia Wang https://www.ted.com/talks/tricia_wang_the_human_insights_missing_from_big_data THICK DATA Data from human beings that cannot be quantified • Bajo volumen • Alto sentido • Le da contexto al análisis Tricia Wang

Una pregunta vale más que mil métricas

Questions first "Qué datos queremos sacar?" Nos saca de foco y nos llena de datos que hacen ruido. "Qué preguntas queremos contestar?" Nos ayuda a encontrar los datos relevantes.

Questions first “If I had an hour to solve a problem I would spend the first 55 minutes determining the proper question to ask, for once I know the proper question, I could solve the problem in less than five minutes.” Albert Einstein

Questions first 1 Definir las preguntas que queremos contestar Data later 2 Definir las métricas que contestan las preguntas • Nos permite elegir los datos relevantes • Le da sentido a los números • Nos permite identificar dónde están los datos (no todo está en Google Analytics) Core action o Critical User Journey Métricas Qué comportamiento de los usuarios tendríamos que observar para responder la pregunta? Qué métricas están asociadas a esos comportamientos? Metodología “Questions first”

Questions first 1 Definir las preguntas que queremos contestar Data later 2 Definir las métricas que contestan las preguntas Pegunta Core action / Critical user journey Métricas Cómo sabemos si a los usuarios les interesa nuestro catálogo? • Recorren el sitio y exploran los productos • Van a las páginas de producto • Pasan tiempo en las páginas de producto viendo de qué se trata • Cantidad de páginas de producto vistas por visita (product pages/visit) • Flujo de navegación (para ver si hay exploración de productos) • Time on page (solamente como indicador secundario) • Scroll (solamente como indicador secundario)

Questions first 1 Definir las preguntas que queremos contestar Data later 2 Definir las métricas que contestan las preguntas Pregunta Core action o Critical User Journey Métricas https://www.solmesz.com/es/blog-es/como-definir-metricas-usando-el-enfoque-questions-first

No estamos viendo la historia completa

Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT NEGOCIO OUTPUT PRODUCTO OUTPUT USUARIO VALUE Comprensión Utilidad Experiencia Satisfacción Valor PERFORMANCE Uso Ventas Ticket promedio Churn Frecuencia REVENUE Rentabilidad Costos de atención CLTV Loyalty NPS Las mejoras se planean y se miden de manera independiente, sin una visión global.

Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO Abrir cuenta en U$D • 100% online • Sin ser cliente • Sin costo VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD

Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO Si el resultado local es bueno, pero el balance global no tanto… VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD

Vertical, fragmentada MEDICIÓN ACTUAL OUTPUT PRODUCTO OUTPUT USUARIO OUTPUT NEGOCIO VALUE Usabilidad Comunicación EXPERIENCIA SATISFACCIÓN PERFORMANCE VENTAS CONVERSIÓN Solicitudes apertura Aperturas de cuenta REVENUE Costos de atención Cierres NPS CAC RETENCIÓN RENTABILIDAD Qué tan positivo es el resultado? 🤔 🤔

Hacia una medición holística: el Full Loop Analytics Framework https://www.solmesz.com/es/blog-es/full-loop-analytics-framework KPI

No es bueno ser data driven (pero sí data minded)

DATA DRIVEN DATA INFORMED Los datos cuantitativos son el único input para la toma de decisiones Los datos cuantitativos se usan como un input más para tomar decisiones Sirven para optimizar dentro de rangos o variables conocidas Permite encontrar nuevos rangos o variables Para proceso de optimización Para procesos de innovación

Data driven Data informed Máxima Local $500 - $800 Máxima global $5000 A/B testing: cuál es mejor precio dentro de un rango específico Entrevistas: cuál es el mejor precio posible?

Tricia Wang https://www.ted.com/talks/tricia_wang_the_human_insights_missing_from_big_data

El ROI del Diseño no existe (como fórmula o medida standard)

Y tampoco una lista de métricas a seguir. No hay una fórmula mágica para definir el ROI del diseño.

Por qué no existe “el ROI del Diseño”? (como medida standard) • ROI es la comparación entre Retorno e Inversión, por lo cual, cada proyecto va a tener una inversión particular y va a esperar un retorno específico. • No hay dos proyectos iguales: cada proyecto resuelve un problema distinto, por lo cual no se puede definir a priori una lista de métricas que se ajusten a cualquier tipo de proyecto. https://solmesz.medium.com/el-roi-del-diseno-no-existe-fc47a9fe1e73

No hay una fórmula mágica. Pero sí un proceso.

Definir objetivos Qué problema estamos resolviendo?

Definir objetivos Qué problema estamos resolviendo? Definir resultados Qué beneficio esperamos?

Definir objetivos Qué problema estamos resolviendo? Definir métricas Qué métricas vamos a usar para saber si lo logramos? Definir resultados Qué beneficio esperamos?

En resumen…

El criterio es más importante que las herramientas Se puede tener datos cualitativos a escala No todas las métricas valen lo mismo Una pregunta vale más que mil métricas No estamos viendo la historia completa No es bueno ser data driven (es mejor ser data minded) Necesitamos información cualitativa para trabajar con métricas El ROI del Diseño no existe

Muchas gracias! Sol Mesz Diseño y Estrategia de Producto [email protected] linkedin.com/in/solmesz/ medium.com/@solmesz