A/B Testing

Transcript

1. A/B тесты в mobile и web 1
2. Please welcome. Андрей Панфилов iOS Developer в Booking.com (AMS HQ) 2
3. Наш план • A/B теория - что это такое и зачем оно нам? • Стандартная архитектура теста • Анализ данных • Рандомные мысли на тему • Вопросы и (возможно) ответы 3
4. • A/B Теория 4
6. Немного истории “A/B ТЕСТИРОВАНИЕ - ТЕРМИН ДЛЯ ПРОВЕДЕНИЯ ВЕРОЯТНОСТНОГО ЭКСПЕРИМЕНТА С ДВУМЯ ВАРИАНТАМИ, A И B, БАЗА И ВАРИАНТ КОНТРОЛИРУЕМОГО ЭКСПЕРИМЕНТА.” 6
7. Немного истории 7
8. Немного истории 8
9. Сегодня A/B Тестирование широко распространено среди гигантов индустрии: • Booking.com • Google • Microsoft • Facebook • KPN • Amazon • AirFrance 9
10. Сегодня 10
11. Сегодня 11
12. Сегодня 12
13. Сегодня 13
14. Сегодня 14
15. Сегодня 15
16. Сегодня A/B Тестирование имеет множество реализаций: • Splitforce • Firebase • Apptimize • Optimizely • KeepSafe Switchboard • Skylab (from Mattt) • Symposeum • Firebase 16
17. Сегодня 17
18. Сегодня 18
19. Сегодня 19
21. Мобильные тесты 21
22. Тесты это просто Вполне возможно приступить к A/B Тестированию даже не имея никаких инструментов или фреймворков, просто продублировав систему и сравнивая результаты. 22
23. Тесты это просто Но такое тестирование нельзя назвать полноценным, потому что данные собранные таким образом ненадежны. Платформа для тестирования должна содержать: • Предопределенные метрики теста • Инструментарий анализа “силы” теста • Предэкспериментальное A/A тестирование 23
24. Тесты это просто Категории пользователей: • Нулевая группа • Конвертированная группа • Лояльная группа • Реферальная группа 24
33. Анализ данных 33
35. Когда наука врет “More than 50% of experimental research findings are totally wrong” John P. A. Ioannidis “Why Most Published Research Findings Are False”, 2005 https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/ 35
36. Когда наука врет “More than 50% of experimental research findings are totally wrong” John P. A. Ioannidis “Why Most Published Research Findings Are False”, 2005 https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/ Люди склонны находить некий смысл в результатах теста вне изначальной гипотезы. 36
37. Когда наука врет 37
38. Не стоит гнаться за призраками Значимость любого теста - это лишь дело времени и усилий. Возможно найти значительные отклонения в абсолютно любом тесте, но следует ли?... 38
39. Не стоит гнаться за призраками Значимость любого теста - это лишь дело времени и усилий. Возможно найти значительные отклонения в абсолютно любом тесте, но следует ли?... Из 1.000 “placebo” тестов: • 771 эксперимент достиг 90% значимости • 531 эксперимент достиг 95% значимости 39
40. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) 40
41. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования 41
42. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования • Следуйте своей гипотезе 42
43. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия 43
44. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные 44
45. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные • Если вы ожидаете, что ничего не изменится - то сила теста равна 0 45
46. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные • Если вы ожидаете, что ничего не изменится - то сила теста равна 0 • Ошибки I и II типов 46
47. Предотвратить ошибку “Ошибку в эксперименте возможно обнаружить, но невозможно исправить” 47
48. Стоп! • Повтор эксперимента снова и снова 48
49. Стоп! • Повтор эксперимента снова и снова • Удаление полей из выборки, “gender effect” 49
50. Стоп! • Повтор эксперимента снова и снова • Удаление полей из выборки, “gender effect” • Этика 50
51. Цель теста Основная цель теста - улучшить впечатление пользователя от продукта/сервиса. 51
52. Итог • Определите нужен ли вам тест 52
53. Итог • Определите нужен ли вам тест • Определите метрики 53
54. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования 54
55. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе 55
56. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки 56
57. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми 57
58. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” 58
59. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” • Дружите с математикой 59
60. Итог • Определите нужен ли вам тест • Определите метрики • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” • Дружите с математикой • Наслаждайтесь удачными тестами 60
61. Немного ссылок: 1. Is your A/B testing effort just chasing statistical ghosts? 1. The evolution of continuous experimentation 1. Using multivariant tests to determine performance impact 1. Sequential Testing and Equivalence Testing 61
62. Заинтересованы? 62
63. Вопросы? andrey.panfilov@booking.com Telegram: @uncured 63