Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Roundtable CRO Upgrade jouw CRO programma in 1 middag

Merkle
November 07, 2019

Roundtable CRO Upgrade jouw CRO programma in 1 middag

Vaak begint men vol enthousiasme aan een CRO programma, maar wordt er vervolgens niet periodiek gereflecteerd waar men staat en waar men naartoe wil. Ook wordt er veel gesproken over kwalitatief onderzoek en personalisatie, maar in de praktijk komt hier weinig van terecht. Herkenbaar? Zonde! Want dit heeft enorme potentie om waarde toe te voegen aan je CRO programma.

We vertellen je meer over het beter worden in experimenteren, de kracht van kwalitatief onderzoek voor je CRO programma en hoe je morgen al met personalisatie kunt starten. Zo heb je voldoende inzichten om jouw CRO programma meteen te optimaliseren!

Merkle

November 07, 2019
Tweet

More Decks by Merkle

Other Decks in Business

Transcript

  1. - Sr. Consultant Conversie Optimalisatie & Digital Analytics - Head

    of Data, Tech & Optimization - Commissielid DDMA Commissie CRO Kevin Laan
  2. Why do I need to make a hundred decisions today?

    If I make three good decisions a day, that’s enough” “
  3. Het integreren van data en techniek creëert waarde Bron: BCG

    ‘delivering Meaningful Moments with Data Driven Transformation’ -30% Minder kosten 20% Meer omzet
  4. DATA, TECH & OPTIMIZATION SERVICES TECHNICAL CAPABILITIES PROGRAMMING / CLOUD

    TECHNOLOGY / DATA ENGINEERING Digital Analytics Implementation Measurement & Datalayers Tag Management & Tracking Data Quality & Enrichment Data integration & warehousing STRATEGY CONSULTING TRAINING Media Analytics Dashboarding & Reporting Data Science / ML & AI Attribution / MMM Audience modelling Platform optimization programs (User) Research Site performance insights Personalization Ads testing Data activation Cloud for Marketing DMP & CDP Cloud Engineering Custom applications / services DATA COLLECTION ANALYSIS & INSIGHTS OPTIMIZATION & EXPERIMENTATION MARKETING TECHNOLOGY
  5. DATA, TECH & OPTIMIZATION SERVICES TECHNICAL CAPABILITIES PROGRAMMING / CLOUD

    TECHNOLOGY / DATA ENGINEERING Digital Analytics Implementation Measurement & Datalayers Tag Management & Tracking Data Quality & Enrichment Data integration & warehousing STRATEGY CONSULTING TRAINING Media Analytics Dashboarding & Reporting Data Science / ML & AI Attribution / MMM Audience modelling Platform optimization programs (User) Research Site performance insights Personalization Ads testing Data activation Cloud for Marketing DMP & CDP Cloud Engineering Custom applications / services DATA COLLECTION ANALYSIS & INSIGHTS OPTIMIZATION & EXPERIMENTATION MARKETING TECHNOLOGY
  6. © 2019 Merkle. All Rights Reserved. Confidential 9 Kwalitatief onderzoek

    Waar kwantitatief onderzoek vooral antwoord kan geven op de wat, geeft kwalitatief onderzoek je inzicht in waarom mensen bepaald gedrag vertonen op je website. Door kwalitatief onderzoek zoals user testing in te zetten, leer je over je doelgroep en wat zij belangrijk vinden. Deze inzichten zijn relevante input voor je optimalisatie en personalisatie programma. Kevin Laan & Myrthe van der Leegte Merkle Groeien in experimenteren bij NS Waar begin je en welke stappen moet je nemen om naar een hoger niveau te komen? In deze sessie neemt Wouter Jansen van de NS je mee in het het maturity model wat samen met Merkle ontwikkeld is voor NS. Hiermee kun je snel zien waar je staat, waar je kansen liggen en wat je concreet moet gaan doen. Ready? Set? Go! Wouter Jansen NS Maak van personalisatie een continu proces Personalisatie is een populair onderwerp, maar voor veel bedrijven nog lastig om concreet mee te starten. Wij vertellen je wat personalisatie precies is, hoe je er morgen mee kan beginnen, wat hiervoor nodig is en hoe je er een continu proces van maakt. Folkert Mudde Tim Hoefnagel Merkle Sqeezely 14:45 Programma 15:15 16:00 15 min pauze
  7. © 2019 Merkle. All Rights Reserved. Confidential 10 Kwalitatief onderzoek

    Waar kwantitatief onderzoek vooral antwoord kan geven op de wat, geeft kwalitatief onderzoek je inzicht in waarom mensen bepaald gedrag vertonen op je website. Door kwalitatief onderzoek zoals user testing in te zetten, leer je over je doelgroep en wat zij belangrijk vinden. Deze inzichten zijn relevante input voor je optimalisatie en personalisatie programma. Kevin Laan & Myrthe van der Leegte Merkle Groeien in experimenteren bij NS Waar begin je en welke stappen moet je nemen om naar een hoger niveau te komen? In deze sessie neemt Wouter Jansen van de NS je mee in het het maturity model wat samen met Merkle ontwikkeld is voor NS. Hiermee kun je snel zien waar je staat, waar je kansen liggen en wat je concreet moet gaan doen. Ready? Set? Go! Wouter Jansen NS Maak van personalisatie een continu proces Personalisatie is een populair onderwerp, maar voor veel bedrijven nog lastig om concreet mee te starten. Wij vertellen je wat personalisatie precies is, hoe je er morgen mee kan beginnen, wat hiervoor nodig is en hoe je er een continu proces van maakt. Folkert Mudde Tim Hoefnagel Merkle Sqeezely 14:45 Programma 15:15 16:00 15 min pauze
  8. ` © 2019 Merkle. All Rights Reserved. Confidential KWALITATIEF ONDERZOEK

    Krijgt continue antwoord op de Waarom? vragen.
  9. Conversie Optimalisatie & Analytics Consultant - Kwalitatief onderzoek - User

    testing - Ads Testing - Strategy & Optimization program management - Myrthe van der Leegte
  10. Impact van experimenteren GROEI Aantal experimenten Success ratio Gemiddelde impact

    per experiment Hoe vergroot je de gemiddelde impact per experiment? Hoe verhoog je de succesratio?
  11. Waar zitten de knelpunten voor je gebruikers? Voer kwantitatief en

    kwalitatief onderzoek uit en verzamel inzichten om tot concrete optimalisatie ideeën te komen. Hoe houden we het overzicht en hoe delen we verkregen kennis met de organisatie? Vul je backlog, prioriteer deze zodat je optimalisatieprogramma in lijn blijft met de rest van je organisatie. Zorg ook voor actieve communicatie over lopende en afgeronde experimenten. Hoe voeren we hoogwaardige experimenten uit? Creeër checklisten ter controle van je experimenten, stel extra meetpunten in, automatiseer taken om het aantal experimenten te kunnen verhogen en verdiep elke analyse. Groei Strategisch fundament Optimization Uitvoering van experimenten Project management & Backlog Bouwblokken Optimalisatie programma Onderzoek
  12. Onderzoek Verzamel inzichten Waar zitten de knelpunten voor je gebruikers?

    Voer analyses uit en verzamel inzichten om de impact per experiment te vergroten. How do we keep track of everything and share it with the organisation? Fill backlog with ideas and prioritize them to integrate the process in the whole organization. How can we improve the efficiency of our experiment program? Create solid experiment planning, increase quality tests and automate tasks to increase number experiments. Strategisch fundament Onderzoek Execution experiments Project management + Backlog Groei KWANTITATIEF ONDERZOEK Funnel analyse On-site Search analyse Kanaal analyse Categorie & Product analyse Attributie analyse Device analyse ect.. KWALITATIEF ONDERZOEK Customer journey analyse Creëer persona’s Check persuasive principes Expert analyse On-site gebruiker opnames On-site feedback Heatmap analyse Interviews met gebruikers Concurrentie analyse Usability testing ect..
  13. Wat vind de markt? “Bruikbaarheid van test methoden” The 2018

    State of Conversion Optimization - ConversionXL https://conversionxl.com/blog/2018-conversion-optimization-report/#trends-in-testing
  14. Narrative Fallacies “De bounce rate is erg hoog voor deze

    campagne pagina. Ik vermoed dat dit door de niet relevante afbeelding komt. We moeten nu nieuwe afbeeldingen gaan gebruiken.”
  15. Narrative Fallacy Voorbeeld Funnel Analyse Aanleiding: • Grote uitval bij

    invullen IBAN nummer pagina. • Veel foutmeldingen.
  16. Narrative Fallacy Voorbeeld Funnel Analyse Gedachten: • Mensen begrijpen niet

    altijd hoe ze hun IBAN moeten invullen. • Het invulveld geef onlogische foutmeldingen. • Testen met verbeterde invulvelden en andere layout van pagina. • We moeten het veld makkelijker maken
  17. Narrative Fallacy Voorbeeld Gebruikersonderzoek • Respondenten hadden in de praktijk

    weinig moeite. • De onduidelijke informatievoorziening zorgde voor de meeste frustratie.
  18. © 2019 Merkle. All Rights Reserved. Confidential 25 It answers

    WHY people run into issues with your product. Combineer data bronnen
  19. © 2019 Merkle. All Rights Reserved. Confidential 26 10 verschillende

    kwalitatieve onderzoeksmethoden om deze vraag te beantwoorden. Wat kan je inzetten?
  20. Wat kan je inzetten? Onderzoeksmethoden In-Person Usability Test Feedback Poll

    Heatmaps 5 seconden Test Concurrentie analyse Klantenservice / Chat analyseren Remote Usability Test Eye-Tracking EEG Tracking Website Recordings Etnografisch onderzoek Kwalitatieve Benchmarking Kwantitatieve user test
  21. Wat kan je inzetten? Usability Testing • Het beantwoord WAAROM

    mensen tegen problemen aanlopen. • Het vertelt je WAT mensen echt denken van je product/service. • Het helpt om de KLANT CENTRAAL te stellen. Waarom? Eye-Tracking EEG Tracking In-Person Usability Test Remote Usability Test Welke vormen?
  22. Wat kan je inzetten? Etnografisch onderzoek Waarom? • Geeft inzicht

    in hoe mensen zich gedragen in echte situaties. • Waardevol als je een fysieke ruimte hebt waar klanten met jouw bedrijf interacteren. Hoe? • Observeer het gedrag van mensen in je winkels, showrooms, garages, etc. • Schrijf alle observaties op.
  23. Wat kan je inzetten? Website polls • Specifieke feedback mogelijk.

    • Bereik je eigen bezoekers. • Zeer makkelijk in te zetten. Waarom? Hoe?
  24. Wat kan je inzetten? Website polls Feedback vraag Waar kun

    je het vragen? Heb je de informatie kunnen vinden waar je naar op zoek was op deze pagina? Landing page / Product page Wat is dat ene ding dat je mist op deze pagina? Landing page / Product page / Pages with high exit rates Als je deze website niet meer zou kunnen gebruiken, wat zou je dan gaan missen? Landing page / Success page Hoe makkelijk was het om je bestelling af te ronden? Success page / Post-purchase page Wat was de grootste twijfel die je had voordat je tot aankoop over ging? Success page / Post-purchase page Wat heeft jouw overgehaald om de bestelling af te ronden? Success page / Post-purchase page Heb je vandaag iets niet kunnen vinden waar je naar op zoek was? Success page / Post-purchase page Wat weerhield jou er bijna van om vandaag tot aankoop over te gaan? Success page / Post-purchase page Is er iets specifieks wat je deed opzeggen? Cancelation, downgrade, or churn pages
  25. Wat kan je inzetten? 5 seconden test • Goedkoop. •

    Snel feedback op nieuwe of bestaande designs. • Zeer laagdrempelig Waarom? • Online: https://www.usertesting.com/ ◦ Grootste platform. • Offline: ◦ Schets vertonen aan collega’s, vrienden, familie, winkelbezoekers etc. Hoe?
  26. Wat kan je inzetten? Onderzoeksmethoden Weinig moeite Veel moeite Veel

    respondenten - Breed Weinig respondenten - Gedetailleerd In-Person Usability Test Feedback Poll Heatmaps 5 seconden Test Concurrentie analyse Klantenservice / Chat analyseren Remote Usability Test Eye-Tracking EEG Tracking Website Recordings Etnografisch onderzoek Kwalitatieve Benchmarking Kwantitatieve user test
  27. © 2019 Merkle. All Rights Reserved. Confidential 36 TOP 6

    UITDAGINGEN IN CRO ◢ Establishing a process ◢ Learning/training ◢ Educating clients ◢ Proving ROI ◢ Time and budget constraints ◢ Integrating CRO into the business BRON: State of CRO rapport CXL & VWO
  28. IT gericht Customer centric planning over product drivers Organisatie Analyse

    & Inzicht Maturity Matrix Niveau Kanalen Starten Initiële CRO start-fase Tactische CRO uitvoering Strategische CRO aanpak CRO in DNA van bedrijf Crawl Walk Run Fly Ad-hoc en laagdrempelig Semigestructureerd Geavanceerde methoden worden ingezet Volledig scala aan methoden worden structureel ingezet Initiële CRO fase Continue optimalisatie Web only Enkele kanalen Meeste kanalen Omni Channel Organisatie is strategische kernactiviteit. Experimenteren in DNA van bedrijf Backlog & Project Uitvoering Cross-platform Volledig democratisch en transparant Experiment proces volledig gedocumenteerd. Helder proces & inzichtelijk decentraal systeem Advanced testing Schaalbare uitvoering Solide uitvoering Basic Beperkte documentatie Merkle CRO Maturity Model
  29. Optimization Ritme Prioriteit Hoog Laag Experiment backlog Geselecteerde experimenten Uitvoering

    Afgeronde experimenten Sprint 4-13 weken Standup 1-14 dagen ✓ ✓ ✓ ✓
  30. Optimization Ritme Prioriteit Hoog Laag Experiment backlog Geselecteerde experimenten Uitvoering

    Afgeronde experimenten Sprint 4-13 weken Standup 1-14 dagen ✓ ✓ ✓ ✓ Onderzoek Afgeronde experimenten i i
  31. © 2019 Merkle. All Rights Reserved. Confidential 43 Zorg niet

    alleen dat je kwalitatief onderzoek doet, maar zorg dat je er een proces voor hebt. Takeaway
  32. Wat kan je inzetten? Usability Testing Usability testen is wanneer

    je echte mensen door jouw website, app, platform, product of wat je dan ook verkoopt zet, en hen een aantal taken laat uitvoeren. Waarom doen? • Geeft inzicht hoe mensen door je website navigeren. • Geeft inzicht waar mensen tegenaan lopen. • Geeft inzicht hoe mensen over je website denken. • Laat andere teams klant centraal denken.
  33. © 2019 Merkle. All Rights Reserved. Confidential 46 Om zoveel

    mogelijk uit usability testing te halen, is het van belang dat de focus ligt op het snel behalen van resultaat. ◢ Geen complexe testopzet ◢ Geen complex en (onnodig) uitgebreide rapportage ◢ Focus op simpele maar effectieve optimalisatiemogelijkheden SNELLE, MAAR GOED ONDERBOUWDE BESLISSINGEN PERFECT IS THE ENEMY OF GOOD
  34. © 2019 Merkle. All Rights Reserved. Confidential 47 Hoe meer

    stakeholders er betrokken worden, hoe beter - zien is geloven. Als er meer mensen binnen de organisatie betrokken zijn, is meer draagkracht om verbetermogelijkheden door te voeren. HOE MEER ZIELEN, HOE MEER VREUGD
  35. © 2019 Merkle. All Rights Reserved. Confidential 48 Wat wil

    ik testen? ◢ Huidige website, prototype nieuw design, mobile/desktop? Vervolgens bepaal je wat je wil weten - wat verwacht je van iemand (5-10 punten)? WAT WIL IK TESTEN EN WAT VERWACHT IK VAN MIJN KLANTEN? PLAN VAN AANPAK 5-10 meest belangrijke acties die iemand uit kan voeren op mijn website: - informatie vinden over mijn User testing workshop - inschrijven voor de User Testing workshop - Het eerste hoofdstuk van mijn boek lezen - Mijn boek kopen - 5 boeken kopen
  36. © 2019 Merkle. All Rights Reserved. Confidential 49 Usability research

    with lots of bells and whistles Usability research light (Merkle method) Time spent for each round of testing 1 or 2 test days a week to prepare the briefing process to decide what to fix 1 morning (once or every month) including testing, debriefing, deciding what to fix When do you test When the site is nearly complete Continually, even throughout the development process Number of rounds of testing Typically only one or two per project, because of time and expense Preferably every month Number of participants in each round 5-8 participants 5 (if the process repeats every month, 3 respondents might be enough as well) Who do you test with? Recruit carefully to find people who are like your target audience Recruit loosely Reporting Someone takes at least a week to prepare a report A 1-2 report summarizes decisions made during the debriefing Who identifies the problems? The person running the tests usually analyzes results and recommends changes Any interested stakeholders compare notes and decide what to fix (e.g. ecommerce team, designer, CEO) Primary purpose A list of many problems (sometimes hundreds) categorized and prioritized by severity A short list of the most serious problems and a commitment to fixing them before the next round of testing Out-of-pocket costs +/- € 8.500,- +/- € 3.800 TWEE SOORTEN USABILITY ONDERZOEK
  37. © 2019 Merkle. All Rights Reserved. Confidential 50 It answers

    WHY people run into issues with your product. • Bij de uitgebreide versie komt ongetwijfeld meer input binnen, maar bij de light versie zullen de belangrijkste knelpunten ook naar voren komen. • Na +/- 5 respondenten komen steeds minder nieuwe inzichten naar voren. Wanneer je met meer mensen test, is de tijd die erin geïnvesteerd wordt dus steeds kostbaarder (minder input in dezelfde X tijd per respondent). Nielsen, Jakob, and Landauer, Thomas K.: "A mathematical model of the finding of usability problems USABILITY TESTING LIGHT
  38. © 2019 Merkle. All Rights Reserved. Confidential 53 Kwalitatief onderzoek

    Waar kwantitatief onderzoek vooral antwoord kan geven op de wat, geeft kwalitatief onderzoek je inzicht in waarom mensen bepaald gedrag vertonen op je website. Door kwalitatief onderzoek zoals user testing in te zetten, leer je over je doelgroep en wat zij belangrijk vinden. Deze inzichten zijn relevante input voor je optimalisatie en personalisatie programma. Kevin Laan & Myrthe van der Leegte Merkle Groeien in experimenteren bij NS Waar begin je en welke stappen moet je nemen om naar een hoger niveau te komen? In deze sessie neemt Wouter Jansen van de NS je mee in het het maturity model wat samen met Merkle ontwikkeld is voor NS. Hiermee kun je snel zien waar je staat, waar je kansen liggen en wat je concreet moet gaan doen. Ready? Set? Go! Wouter Jansen NS Maak van personalisatie een continu proces Personalisatie is een populair onderwerp, maar voor veel bedrijven nog lastig om concreet mee te starten. Wij vertellen je wat personalisatie precies is, hoe je er morgen mee kan beginnen, wat hiervoor nodig is en hoe je er een continu proces van maakt. Folkert Mudde Tim Hoefnagel Merkle Sqeezely 14:45 Programma 15:15 16:00 15 min pauze
  39. © 2019 Merkle. All Rights Reserved. Confidential 54 Kwalitatief onderzoek

    Waar kwantitatief onderzoek vooral antwoord kan geven op de wat, geeft kwalitatief onderzoek je inzicht in waarom mensen bepaald gedrag vertonen op je website. Door kwalitatief onderzoek zoals user testing in te zetten, leer je over je doelgroep en wat zij belangrijk vinden. Deze inzichten zijn relevante input voor je optimalisatie en personalisatie programma. Kevin Laan & Myrthe van der Leegte Merkle Groeien in experimenteren bij NS Waar begin je en welke stappen moet je nemen om naar een hoger niveau te komen? In deze sessie neemt Wouter Jansen van de NS je mee in het het maturity model wat samen met Merkle ontwikkeld is voor NS. Hiermee kun je snel zien waar je staat, waar je kansen liggen en wat je concreet moet gaan doen. Ready? Set? Go! Wouter Jansen NS Maak van personalisatie een continu proces Personalisatie is een populair onderwerp, maar voor veel bedrijven nog lastig om concreet mee te starten. Wij vertellen je wat personalisatie precies is, hoe je er morgen mee kan beginnen, wat hiervoor nodig is en hoe je er een continu proces van maakt. Folkert Mudde Tim Hoefnagel Merkle Sqeezely 14:45 Programma 15:15 16:00 15 min pauze
  40. Personalisatie en © 2019 Merkle. All rights reserved. Any copying

    or use of this confidential information is strictly prohibited without the express written permission of Merkle.
  41. WEBSITE DASHBOARD PAID EMAIL TAGMANAGER DATALAYER CRM / DATA WAREHOUSE

    ANALYTICS WEB DATA OFF SITE DATA CUSTOMER DATA SERVICE CENTER KANTOREN WINKEL CONTENT Structuur
  42. WEBSITE DASHBOARD PAID EMAIL TAGMANAGER DATALAYER CRM / DATA WAREHOUSE

    ANALYTICS WEB DATA OFF SITE DATA CUSTOMER DATA SERVICE CENTER KANTOREN WINKEL CONTENT Structuur
  43. Verzamele n Verwerken Verzilvere n van klantprofielen met alle touchpoints

    van de customer journey van klantprofielen in klantgroepen met overeenkomende patronen door relevantie te vergroten, waardoor klantrelaties en conversies verbeteren