Александр Толмачев — О процессах А/В-тестирования в больших компаниях и связанных с ними проблемах

Transcript

1. О процессах А/В-тестирования в больших компаниях и связанных с ними проблемах январь 2023
2. О себе Александр Толмачев Head of analytics Ozon.Fintech - DataFest 2021 - рассказывал о том, какие боли нужно учитывать при внедрении математических сервисов в бизнес и интерпретации их - HighLoad 2021 - рассказывал о том, как мы сделали высоконагруженный сервис прогнозирования аномалий во временных рядах - Преподаватель курсов анализа данных в ВШЭ - Автор курсов “Анализ данных” и инженер данных Яндекс Практикум - Топ-15 соревнование Росбанк по оттоку пользователей - Топ 50 sdsj-классификатор релевантных вопросов Telegram - @aa_tolmachev FB - https://tinyurl.com/m2etj8wd Пишите - буду очень рад помочь!
3. А как же эксперименты в Финтехе Правильные эксперименты - А/В-тесты Это сложно - всегда будет множество нюансов - А/В нужны не всегда - каннибализация - Проводя А/В, нужна статистическая значимость. Много экспериментов будут длиться 3-4 недели - потерянная прибыль или прямой убыток - “Я потерялся”. Аналитики тоже не всегда круто интерпретируют в бизнес - они будут давать ответы, но решение может быть непонятным. - Потери в данных, корректный учет органики, дублирование пользователей - технические проблемы. - Одна метрика выросла CR, CTR упала - в итоге ОК или не ОК - споры между направлениями? Далеко не всегда физически можно и нужно проводить А/В.
4. Как мы хотим видеть цены 1 - 1 товар 1 цена 2 - мне понятно сколько стоит 3 - понятно, когда доставка 4 - понятно, что лучшая цена
5. Как мы хотим видеть цены 1 - мы привыкли к витринам 2 - цены там большие и мы на них смотрим 3 - нам удобно и хорошо 4 - даже обведены красным - красота
6. Что начало происходить 1 - цены с учетом скидки 2 - цены с учетом лояльности 3 - цены за 100 грамм 4 - цены за 100 грамм а сыр весит 85 грамм :P 5 - возьмите еще накопите марки и доплатите - СКОЛЬКО ЭТО СТОИТ!!!!
7. Чем мы хуже 1 - у других это работает - должно и у нас 2 - надо понять как сделать 3 - разработаем и сделаем
8. Фанфакт - Ozon карта - первая собственная карта e-com банка
9. Есть нюанс 1 - витрина в приложении заставлена полностью и впритык 2 - цен мы видим очень много 3 - какое восприятие итоговое?
10. Сколько вы заплатите? 1 - видим в итоге 6 разных цифр которые рассказывают об одном товаре 2 - не до конца прозрачно? сколько заплачу 3 - каждая из цифр воюет с другими !!
11. Сколько вы получите плюсом - баллы 1 - при запуске видим каннибализацию существующей модели 2 - продукты конфликтуют 3 - пользователи выбирают что им нравится больше
12. Баллы против скидки Цена = 100 руб баллы = 10 руб Итого - Заплатил 100, получил 10 Потратил 90, получается Цена = 100 руб скидка = 10 руб Итого - Заплатил 90 с скидкой Потратил 90, получается При этом, мы ничего не теряем и не получаем, но значимо влияем на восприятие цены, тем самым понижаем среднюю стоимость - один из ключевых показателей эффективности маркетплейсов
13. Дизайн эксперимента Гипотеза - при включении скидки, метрики пользователей увеличатся от регистрации до покупок - ощущение лучшей цены помогает Сплит - по девайсам - так как хотим показывать и незарегистрированным пользователям Пропорция - 90 на 10
14. Расчет MDE При учете множественных поправок расчет MDE на период и определили знаковый период для проведения теста
15. Первые выводы 1 - явно видим значимое увеличение всех метрик в тесте 2 - стат. значимо подтверждаем уже после 4 дня теста 3 - довольны 4 - но аналитик на то и аналитик - не доверять результатам сразу
16. Анализ результатов Сплит идет по девайсам - все, кто заходят сплитуются 90 на 10 - выборка наблюдений сформирована. До начала теста также был сдвиг, а при А/А не было. Сдвиг именно тех показателей значимый на которые смотрим и хотим влиять - фигня
17. Анализ результатов
18. Инсайт При детализации результатов выявили: - Так как сплит идет по девайсам, то пользователи, кто имеют несколько девайсов, ломают распределение, так как 90 на 10 по девайсу - Пользователи видят баллы или скидку и идут на девайсы, где скидка (таргетная группа) - Ухудшают метрики контроля и улучшают метрики теста, вмешиваясь в тест - Но почему так явно??? - При детализации видно - таких пользователей не больше 20% (с несколькими девайсами и кто попал в две группы) - Но при этом, это самая лояльная аудитория - они генерят больше 50% gmv - Наличие нескольких девайсов и факта покупки с каждого из них является прокси метрикой лояльной аудитории - В итоге поправили все ок и раскатили на всех, что мы видим дальше
19. Результаты после раскатки - 1 - ARPPU новичков стал значимо выше - Конверсия в покупку увеличилась - Людям ок такое месиво - чудеса
20. Результаты после раскатки - 2 - Показатель PI (price index) ощущения и стоимости товара стал значимо снижаться после раскатки - Селлеры начали поднимать цены :DDD - PI начал восстанавливаться - Начали управлять размером скидки
21. Результаты после раскатки - 3 - При изменении размера скидки, отклик в доле оплат идет моментально - в тот же день
22. Результаты после раскатки - 4 - При этом мы видим рост активности пользователей, график динамики доли покупок от DAU в наблюдении - Видно, что хоть динамика оплат моментально снижается в обороте, но показатель активности пользователей гораздо более инертный - он замедляется и снижается гораздо медленнее
23. A/В - не панацея 1 - Необходима специализация, чтобы делать правильный дизайн и выводы 2 - Длительность эксперимента может вредить бизнесу 3 - Возможны внутренние непонимания (пример иви) 4 - Возможны технические проблемы 5 - При этом, в чем крутость экспериментов?