Upgrade to Pro — share decks privately, control downloads, hide ads and more …

A/B Testing

CocoaHeads
November 28, 2017
79

A/B Testing

CocoaHeads

November 28, 2017
Tweet

More Decks by CocoaHeads

Transcript

  1. Наш план • A/B теория - что это такое и

    зачем оно нам? • Стандартная архитектура теста • Анализ данных • Рандомные мысли на тему • Вопросы и (возможно) ответы 3
  2. 5

  3. Немного истории “A/B ТЕСТИРОВАНИЕ - ТЕРМИН ДЛЯ ПРОВЕДЕНИЯ ВЕРОЯТНОСТНОГО ЭКСПЕРИМЕНТА

    С ДВУМЯ ВАРИАНТАМИ, A И B, БАЗА И ВАРИАНТ КОНТРОЛИРУЕМОГО ЭКСПЕРИМЕНТА.” 6
  4. Сегодня A/B Тестирование имеет множество реализаций: • Splitforce • Firebase

    • Apptimize • Optimizely • KeepSafe Switchboard • Skylab (from Mattt) • Symposeum • Firebase 16
  5. 20

  6. Тесты это просто Вполне возможно приступить к A/B Тестированию даже

    не имея никаких инструментов или фреймворков, просто продублировав систему и сравнивая результаты. 22
  7. Тесты это просто Но такое тестирование нельзя назвать полноценным, потому

    что данные собранные таким образом ненадежны. Платформа для тестирования должна содержать: • Предопределенные метрики теста • Инструментарий анализа “силы” теста • Предэкспериментальное A/A тестирование 23
  8. 25

  9. 26

  10. 27

  11. 28

  12. 29

  13. 30

  14. 31

  15. 32

  16. 34

  17. Когда наука врет “More than 50% of experimental research findings

    are totally wrong” John P. A. Ioannidis “Why Most Published Research Findings Are False”, 2005 https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/ 35
  18. Когда наука врет “More than 50% of experimental research findings

    are totally wrong” John P. A. Ioannidis “Why Most Published Research Findings Are False”, 2005 https:// www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/ Люди склонны находить некий смысл в результатах теста вне изначальной гипотезы. 36
  19. Не стоит гнаться за призраками Значимость любого теста - это

    лишь дело времени и усилий. Возможно найти значительные отклонения в абсолютно любом тесте, но следует ли?... 38
  20. Не стоит гнаться за призраками Значимость любого теста - это

    лишь дело времени и усилий. Возможно найти значительные отклонения в абсолютно любом тесте, но следует ли?... Из 1.000 “placebo” тестов: • 771 эксперимент достиг 90% значимости • 531 эксперимент достиг 95% значимости 39
  21. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте

    оптимальный период тестирования • Следуйте своей гипотезе 42
  22. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте

    оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия 43
  23. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте

    оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные 44
  24. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте

    оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные • Если вы ожидаете, что ничего не изменится - то сила теста равна 0 45
  25. Предотвратить ошибку • Подбирайте оптимальный p(significance)- уровень (0.05) • Подбирайте

    оптимальный период тестирования • Следуйте своей гипотезе • Определите наименьший эффект воздействия • Не пытайтесь обмануть данные • Если вы ожидаете, что ничего не изменится - то сила теста равна 0 • Ошибки I и II типов 46
  26. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования 54
  27. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе 55
  28. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки 56
  29. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми 57
  30. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” 58
  31. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” • Дружите с математикой 59
  32. Итог • Определите нужен ли вам тест • Определите метрики

    • Разработайте фреймворк тестирования • Следуйте гипотезе • Проверяйте данные на ошибки • Не бойтесь оказаться неправыми • Не бойтесь сказать “Стоп” • Дружите с математикой • Наслаждайтесь удачными тестами 60
  33. Немного ссылок: 1. Is your A/B testing effort just chasing

    statistical ghosts? 1. The evolution of continuous experimentation 1. Using multivariant tests to determine performance impact 1. Sequential Testing and Equivalence Testing 61