KPIs vs. UX – ist User Experience messbar?

Das Thema: KPIs vs. UX. Man könnte auch sagen alte Welt trifft auf neue Welt. User Experience (UX) ist– zumindest in der Wahrnehmung – noch eine junge Disziplin. UX ist als Begriff mittlerweile natürlich etabliert, trotzdem existiert bei vielen Unternehmen noch eine große Unsicherheit gegenüber Tätigkeiten die im Sinne einer Nutzerzentrierung empfohlen und durchgeführt werden. Es stellt sich die Frage nach der Messbarkeit der Wirksamkeit der UX Methoden durch tradierte Messwerkzeuge wie KPIs.

Transcript

1. KPIs vs. UX Ist User Experience messbar? die firma . experience design / Matthias Feit
2. „Mit dem engl. Begriff key performance indicators (KPI) werden in der Betriebswirtschaftslehre allgemeine Kennzahlen bezeichnet, die sich auf den Erfolg, die Leistung oder Auslastung des Betriebs, seiner einzelnen organisatorischen Einheiten oder einer Maschine beziehen“ http:/ /wirtschaftslexikon.gabler.de/Definition/key-performance-indicator-kpi.html
3. Taylorismus / / Industriezeitalter Weite Märkte Wenig Konkurrenz Lineare Systeme Steuerung durch KPIs
4. Post-Taylorismus / / Wissenszeitalter Digitalisierung = Nicht-Lineare Systeme = Komplexität Enge globale Märkte Viel Konkurrenz
5. Steuerung durch KPIs?
6. „User experience encompasses all aspects of the end-user's interaction with the company, its services, and its products.“ – Don Norman, Jakob Nielsen https:/ /www.nngroup.com/articles/definition-user-experience/
7. Äpfel und Birnen? KPIs Bilanz UX Nutzungserlebnis
8. Kunde Unternehmen UX
9. Elemente der UX
10. Strategische Vorgaben Unternehmensstrategie Markenstrategie Produktstrategie UX Strategie
11. Quelle: www.agux.co/blog/ux-strategy-goals-and-getting-to-the-future-state
12. Quelle: www.experiencinginformation.com/2014/08/12/ux-strategy-blueprint/
13. Elemente des UX Strategy Blueprints • Challenges (welche Probleme müssen wir lösen) • Aspirations (welches Ergebnis streben wir an) • Focus Areas (welche Kunden/Märkte/Kanäle sind im Fokus) • Guiding Principles (auf welche Prinzipen achten wir) • Activities (welche Tätigkeiten fallen voraussichtlich an) • Measurements (wie messen wir den Erfolg unserer Maßnahmen)
14. Wie misst man UX? UX Metrics
15. Klassische KPIs der Versicherungsbranche . Revenue per Policyholder . Average cost per claim . Average time to settle a claim . Return on surplus . Loss ratio . Frequency . Severity . Average policy size . … Quelle: https:/ /guidingmetrics.com/content/insurance-industrys-18-most-critical-metrics/
17. Quelle: https://innovationenglish.sites.ku.dk/files/2016/07/lEAN-startup_RKO.png
18. Unser Anliegen: Messung der Performance von Interaktionen
19. Einige der wichtigsten (quantitativen) UX Metriken Statistische Auswertungen • Task Success Rate • Time on Task • Verwendung der Suche vs. Navigation • Error (Occurence) Rate Umfrage • System Usability Scale (SUS)
20. Task Success Rate (Task Completion Rate) • Prozentueller Anteil erfolgreich abgeschlossener Aufgaben durch den Nutzer • Nur möglich wenn es ein klares Ziel oder Endpunkt gibt (z.B. Schadensmeldung, Einrichten eines Accounts) Anzahl erfolgreich abgeschlossener Aufgaben Anzahl Versuche (gesamt)
21. Time On Task • Wie lange benötigt einer Nutzer – in Minuten und Sekunden ausgedrückt – um eine Aufgabe zu erledigen • Üblicherweise betrachtet man den durchschnittlichen Wert (z.B. Neukundenregistrierung 2:45 Min) • Nützlich um Verbesserungen zwischen Versionen/Iterationen zu bewerten
22. Suche vs. Navigation • Bewertungskriterium für die Effektivität der Informationsarchitektur bzw. Navigation Anzahl erfolgreich abgeschlossener Aufgaben durch Verwendung der Suche (Navigation) Anzahl abgeschlossener Aufgaben (gesamt)
23. User Error Rate • Guter Indikator im Hinblick auf die generelle Verwendbarkeit eines Systems • Hilfreich beim Auffinden versteckter Usability Issues • Unterschiedliche Varianten möglich z.B. Error Occurrence Rate (s. Beispiel unten) Anzahl aufgetretener Fehler für alle Nutzer (gesamt) Anzahl möglicher Fehler für alle Nutzer (gesamt)
24. Error Occurrence Rate (Beispiel) • Fünf Benutzer haben eine Kreditkartenzahlung durchgeführt. Es gibt sieben Stellen im Prozess an denen bei der Eingabe Fehler gemacht werden können. • Folgende Fehler wurden pro User verursacht: 2,4,1,2, und 3 • Die durchschnittliche Error Occurence Rate berechnet sich folgendermaßen: (2+4+1+2+3) / 7 * 5 = 0.34 à 34%
25. System Usability Scale (SUS) • Keine Auswertung statistischer Nutzungsdaten sondern Nutzer-Umfrage • Etabliertes Werkzeug um die Verwendbarkeit und Nützlichkeit eines Systems durch Nutzer bewerten zu lassen • Zehn Statements zu denen die Zustimmungswerte der Nutzer erfasst werden (0–4 Punkte) • Der maximale Score liegt bei 100 (Summe * 2,5)
26. • Ich kann mir sehr gut vorstellen, das System regelmäßig zu nutzen. • Ich empfinde das System als unnötig komplex. • Ich empfinde das System als einfach zu nutzen. • Ich denke, dass ich technischen Support brauchen würde, um das System zu nutzen. • Ich finde, dass die verschiedenen Funktionen des Systems gut integriert sind. • Ich finde, dass es im System zu viele Inkonsistenzen gibt. • Ich kann mir vorstellen, dass die meisten Leute das System schnell zu beherrschen lernen. • Ich empfinde die Bedienung als sehr umständlich. • Ich habe mich bei der Nutzung des Systems sehr sicher gefühlt. • Ich musste eine Menge Dinge lernen, bevor ich mit dem System arbeiten konnte.
27. SUS-Score
28. Useful Valuable Credible Desirable Accessible Usable Findable Quelle: http:/ /semanticstudios.com/user_experience_design/
29. Wie messen wir Nützlichkeit, Attraktivitität und Glaubwürdigkeit Metriken & Customer Lifecycles
30. Quelle: https:/ /www.slideshare.net/brantcooper/customer-zoom-value-stream-discovery-and-market-segmentation
31. Acquisition Activation Retention Referrals Revenue Pirate Metrics Quelle: https://en.wikipedia.org/wiki/File:Piratey,_vector_version.svg Quelle: https://www.slideshare.net/dmc500hats/startup-metrics-for-pirates-long-version
33. Das wichtigste Werkzeug: Empathie!
34. Zusammenfassung • Gute UX schafft durch Verständigung zwischen Nutzerbedürfnissen und Unternehmenszielen einen Mehrwert für beide Seiten • Um mittels UX Unternehmensziele befördern zu können brauchen wir klare strategische Vorgaben und eine genaue Vorstellung, was Erfolg für uns bedeutet
35. Zusammenfassung (2) • Mit KPIs messen wir die betriebswirtschaftliche Performance eines Unternehmens • Mit UX Metriken messen wir die Performance von Interaktionen (Usability) • Statistische Auswertungen alleine reichen nicht aus • Umfragen (z.B. SUS), Customer Lifecycles, User Interviews vervollständigen das Bild im Hinblick auf Kundenbedürfnisse
36. Ein Rat zum Schluss Bevor wir mit Verbesserungen starten...
37. ...messen wir die UX im bestehenden System
38. Wir verbessern nur eine Metrik pro Iteration!
39. Mehr zum Thema
40. Viel Erfolg beim Messen! Fragen? @matthiasfeit
41. Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen). Diese Ausarbeitung beinhaltet geistiges Eigentum von Die Firma GmbH und ist ausschließlich für Präsentationszwecke bestimmt. Soweit die Ausarbeitung nicht durch eine vertragliche Vereinbarung in das Eigentum des Kunden übergeht, kann jede Verwendung von Teilen der Konzeption, Design und der zugrundeliegenden Ideen nur mit schriftlichem Einverständnis von Die Firma erfolgen. Eine Nutzung ohne Vereinbarung bzw. Einverständnis ist nicht zulässig (vgl. geltendes Urheber- und Nutzungsrecht) ebenso wie eine Weitergabe dieses Dokumentes an Dritte (sowohl als Gesamtdokument wie auch in Auszügen). Schwalbacher Straße 78 D-65183 Wiesbaden Tel +49 611 2385010 www.diefirma.de @matthiasfeit 0611-2385012 m.feit@diefirma.de Matthias Feit Kontakt