A/B-Testing - Oder: Wie gut kennen wir uns?

In diesem RapidTechTalk geht Eugen auf die Schwierigkeit ein, herauszufinden, ob eine Änderung an einer Webseite tatsächlich eine Verbesserung bringt.

Transcript

1. A/B-Testing Oder: Wie gut kennen wir uns? Rapid Tech Talk, 10.03.2017 Eugen, N4 Group
2. Zielsetzung • Szenario: B2C-Shop • Ziel: Wie kann der Umsatz gesteigert werden? ◦ “Conversion rate” verbessern ▪ Wie viele Benutzer, die auf der Webseite sind, kaufen auch etwas? ▪ Wie viele Benutzer melden sich für den Newsletter an? ▪ etc.
3. Wie machen das beispielsweise Hotelseiten?
4. “Hot”? Das soll was bringen?
5. Aha. Was hat das mit mir zu tun?
6. Hm, welcher Preis soll das sein???
7. Really? Kann man das glauben?
8. Das bringt doch alles nichts!!!
9. Oder vielleicht doch?
10. Quelle: http://crucialconsiderations.org/rationality/cognitive-biases-and-human-irrationality/, 01.03.2017 Es war einmal...
11. Genetisch hat sich seit dieser Zeit nicht viel verändert...
12. Quelle: https://en.wikipedia.org/wiki/List_of_cognitive_biases, 01.03.2017 Wir haben unzählige “kognitive Verzerrungen”
13. Nur Experimente können tatsächlich zeigen, wie eine Webseite das Verhalten beeinflussen kann.
14. Experimente? A/B-Testing! Quelle: http://torquemag-hhvm.s3.amazonaws.com/uploads/2014/10/ab-testing-1024x571.png, 01.03.2017
15. A/B-Testing • Vorgehensweise: ◦ Deployment von zwei Versionen einer Webseite ▪ Gleichzeitig! ◦ Original + kleine Variation des Originals ◦ Jeweils Ermittlung der Conversion-Rate • Was kann optimiert werden? ◦ Wording ▪ “Toller Preis” vs. “Schnäppchen” ◦ Layout ▪ Größe der Widgets ▪ Farben ▪ Anordnung ◦ Workflow ▪ Wizard: Welche Abfrage kommt zuerst?
16. Technologische Ansätze • Zwei Versionen der Webseite müssen gleichzeitig online sein • Auswertung muss möglich sein • Ansätze: ◦ NGINX ▪ https://www.nginx.com/blog/performing-a-b-testing-nginx-plus/ ◦ Google Analytics ▪ https://blog.crazyegg.com/2015/06/02/ab-testing-google-analytics/ ◦ Open Source Frameworks: ▪ https://www.quora.com/Which-are-the-best-open-source-A-B-testing-framework-to- use-in-your-projects ◦ Optimizely (kommerziell) ▪ https://www.optimizely.com/de/
17. Danke für Eure Aufmerksamkeit!
18. n4group.de Saarbrücken 10.03.2017 Rapid Tech Talk