Максим Годзи. Retentioneering. Искуственный интеллект помогает банку оптимзировать рекламный бюджет

1. Большие данные о действиях пользователей в продуктах можно превратить в траектории и обрабатывать с помощью ML
2. ML позволяет быстро получать поведенческую сегментацию и строить наглядные интерпретируемые карты
3. Сегменты с проблемным поведением позволяют локализовать точки роста бизнеса и разместить их в клиентском пути
4. Касания и клики в рекламных каналах могут быть обработаны тем же пайплайном, чтобы точнее оценить качество трафика и эффективнее бюджетировать каналы.

Transcript

1. Продуктовая и маркетинговая аналитика на основе глубокого анализа пользовательских траекторий Максим Годзи Управляющий партнер Data Driven Lab Co-founder коммьюнити проекта Retentioneering
2. ML неоднородно проникает в разные отрасли
3. Главная проблема в готовности данных и в готовности компаний к постановке задач для ML M A O D Оптимальный контроль ML Аналитика Данные
4. Б о л ьшие д анные о д ействиях пользователей ML для анализа текстов
5. Б о л ьшие д анные о д ействиях пользователей ML для анализа текстов
6. Opportunity! Б о л ьшие д анные о д ействиях пользователей ML для анализа текстов
7. ML Анализ траекторий пользователей Б о л ьшие д анные о д ействиях пользователей ML для анализа текстов
8. Целевая аудитория Продукт Путь пользователя
9. Целевая аудитория Продукт Путь пользователя
10. Целевая аудитория Продукт Retentioneering – единый фреймворк сквозной аналитики полного клиентского пути канал 1 ad. 1 канал X ad. X …
11. Целевая аудитория Продукт Retentioneering – единый фреймворк сквозной аналитики полного клиентского пути канал 1 ad. 1 канал X ad. X …
12. 1. 2. 3. Экраны и действия пользователя . . . . . . . близкие точки соответствуют похожим последовательностям Траектория пользователя Преобразуем последовательности в вектор Строим проекцию последовательности транзакций в точку на плоскость Как работают инструменты Retentioneering
13. Индивидуальные траектории пользователей Комбинация TF-IDF представления траектории и TSNE преобразования Каждая траектория отображается в точку на плоскости. Похожие траектории расположены близко друг к другу "Проблемные" пользователи "Успешные" пользователи Систематическая проблема Систематический подход к поиску проблем в продукте
14. Кейс 1: Retentioneering для NetPrint.ru сформулировали три гипотезы о проблемах в приложении Близко расположенные проекции соответствуют потерям пользователей со схожими траекториями Гипотеза о повторном выборе Гипотеза о новом онбординге 1 2 3 Гипотеза о кнопке перехода на сайт Гипотезы, о причинах проблем, генерация решений и их эффект: Поиск проблем: все пользователи удалившие приложение NetPrint Android 1 2 3
15. Гипотеза 1: о повторном выборе Целевое событие: • нажатие кнопки “оформить заказ” в корзине Дополнительные цели: • снижение количества удалений приложения • увеличение числа успешных заказов Гипотеза: после выбора параметров заказа пользователю необходимо зарегистрировать новый или войти в уже существующий аккаунт. Желтая траектория на графе показывает, что для продолжения покупки приходится повторно выбрать все параметры заказа. Это уменьшает конверсию в успешно загруженные заказы При детальном анализе графа проблемных пользователей был выявлен участок, на котором пользователи отбрасываются на уже пройденный этап траектории оформления заказа Поиск гипотез Формулировка гипотезы
16. В результате изменения траектории пользователей конверсия в заказ увеличилась на 9,3% Изменили последовательности экранов после авторизации новых пользователей, провели A/B тест. Контрольная группа пользователей: Время на интеграцию решения – 1 день На 9,3% увеличилась конверсия в заказ у контрольной группы пользователей Каталог Категория продукта Описание продукта Выбор формата Корзина Авторизация Тестовая группа: Каталог Категория продукта Описание продукта Выбор формата Корзина Автори-зация Решение Результат
17. Гипотеза 2: о новом онбординге Целевое событие: • успешная загрузка заказа на печать Дополнительные цели: • снижение количества удалений приложения, • повышение daily user engagement Гипотеза: текущий онбординг рассказывает о масштабах компании и ее преимуществах, но не объясняет новым пользователям функциональность приложения При анализе этапов жизни новых пользователей было выявлено, что онбординг не оказывает положительного эффекта на их вовлеченность Поиск гипотез Формулировка гипотезы
18. Гипотеза 2: о новом онбординге
19. Гипотеза 2: о новом онбординге Целевое событие: • успешная загрузка заказа на печать Дополнительные цели: • снижение количества удалений приложения, • повышение daily user engagement Гипотеза: текущий онбординг рассказывает о масштабах компании и ее преимуществах, но не объясняет новым пользователям функциональность приложения При анализе этапов жизни новых пользователей было выявлено, что онбординг не оказывает положительного эффекта на их вовлеченность Поиск гипотез Формулировка гипотезы
20. В результате обновления онбоординга для новых пользователей удалось увеличить конверсию в заказ на 18% Создали новый процесс онбординга, ориентированный на описание основной функциональности приложения. Акцент сделан на путь пользователя для успешного заказа Время на интеграцию решения – 2 дня По итогам тестов улучшение конверсии в заказ для новых пользователей среднем (медиана) составило 18% Решение Результат
21. Гипотеза 3: о кнопке перехода на сайт Целевое событие: • снижение количества удалений приложения Дополнительные цели: • успешная загрузка заказа на печать Гипотеза: В категории продуктов присутствует кнопка “посмотреть на сайте” (не вся продуктовая линейка представлена в мобильном приложении). Удаление приложения связано с нажатием на кнопку перехода на сайт. Если убрать кнопку, то уменьшится количество удалений Поиск гипотез Формулировка гипотезы При детальном анализе графа проблемных пользователей был выявлен аномальный участок, на котором пользователи неожиданно удаляли приложение
22. После удаления кнопки «посмотреть на сайте» увеличение конверсии в заказ составило до 24% Решение Результат Удаление кнопки «посмотреть на сайте» Время на интеграцию решения – 1 день Рост конверсии заказы для новых пользователей составил до 24% Одна из возможных причин такого резкого роста - удаление приложения может происходить не только по причине неудобства, но и когда пользователь сделал заказ и следующий не планирует делать в обозримом будущем, удаляет приложение Эксперимент и тестирование новых гипотез еще продолжается
23. В результатах тестирования видно, что каждая из гипотез помогла изменить приложение и привела к заметному увеличению конверсии в заказы Гипотеза о повторном выборе • увеличение конверсии в заказ на 9,3% Гипотеза о новом онбординге • увеличение конверсии в заказ на 18% 1 2 3 Гипотеза о кнопке перехода на сайт • увеличение конверсии в заказ на 24% 23
24. Обучение модели предсказывающей уход пользователя из приложения по его траектории 24 События и экраны, которые влияют положительно на вероятность юзеру остаться в приложении События и экраны, которые влияют отрицательно на вероятность юзеру остаться в приложении Обучение: данные за 1 месяц для Train set: 5 564 пользователей Test set: 1 335 пользователей Результат: научились предсказывать по траектории пользователя удаление или не удаления приложения с точностью 70%
25. Целевая аудитория Продукт Retentioneering – единый фреймворк сквозной аналитики полного клиентского пути канал 1 ad. 1 канал X ad. X …
26. Учет процента выкупа заказов: из разных каналов приходят пользователи с разной мотивацией и готовностью выкупить оформленный заказ. Вклад отдельного источника i в конверсию: S - множество каналов v(A) - вероятность конверсии при условии, что пользователь взаимодействовал с каналами из множества A 100% • Используем математику, чтобы получить реальный вклад каждого источника в конверсию • Переходим от эвристик к вероятностной атрибуции Мультиканальная атрибуция позволяет не упустить значимость всех каналов в цепочке
27. Пользовательские сессии являются неоднородными в разных каналах привлечения (1/2) TSNE-проекция первых сессий пользователей В то время как подавляющее большинство траекторий в первой сессии неуспешны и содержат минимальное число действий... Графы траекторий пользователей в наиболее крупных кластерах
28. Пользовательские сессии являются неоднородными в разных каналах привлечения (2/2) TSNE-проекция первых сессий Яндекс Маркета ...из Яндекс Маркет в первую сессию приходят очень мотивированные пользователи Траектория самого крупного кластера в канале Яндекс.Маркет
29. Задача 1: Распределение бюджета по каналам привлечения. Предлагаемый подход: Модели мультиканальной атрибуции Задача 2: Оптимизация взаимодействия с пользователем пришедшем из каждого канала: Предлагаемый подход: Нахождение и оптимизация проблемных групп пользователей характерных для каждого канала на основе траекторий Канал 2: Анализ каналов привлечения клиентов: объединение продуктовой и маркетинговой аналитики Канал 1: итеративное обновление
30. Почему нужно смотреть на траектории в разрезе каналов • Траектории позволяют исследовать вопрос в чем проблема низкоконверсионных каналов • Определить, это проблема на уровне продукта или канала? • Сегментация траекторий и анализ динамики сегментов позволяет выставить оптимальный бюджет на каждый из каналов и выбрать точки для лендинга из каждого канала
31. Кластеризация первых сессий пользователей Подавляющее большинство траекторий в первой сессии – неуспешны и содержат минимальное число действий TSNE-проекция первых сессий пользователей Графы траекторий пользователей в наиболее крупных кластерах
32. Определение успешных пользовательских траекторий Успешные сессии более сложны в траектории и отражают совсем иной пользовательский сценарий
33. Пример: первые сессии пользователей крупнейшего маганизина электроники из канала Яндекс Маркет (вносит наибольший вклад в конверсию) В самый крупный кластер выделяется траектория с минимумом действий и максимальной долей целевых действий
34. Даже небольшие кластеры содержат целевые действия Тем не менее траектории разные и улучшать конверсии нужно различающимися путями
35. Но даже в эффективном канале есть пространство для улучшений Тем не менее даже в самом конверсионном канале часть пользователей утекает из-за проблем в продукте Проблема с поисковой выдачей: Большая группа пользователей завершает сеанс сразу после попадания на поисковую выдачу
36. Примеры траекторий в наименее эффективном канале Траектории первых сессий практически не содержат целевых действий
37. Пример кейса для ТОП-5 e-commerce компании РФ: оптимизация каналов привлечения клиентов Проблема: Высокая стоимость привлечения клиентов • Конверсия происходит после определенных последовательностей каналов • Распределение бюджета происходит исходя из количества лидов, пришедших из последнего канала. • Каждый канал имеет свои паттерны поведения пользователей внутри продукта 1 Анализ касаний и кликов в маркетинговых каналах Построение и анализ траекторий пользователей 2 Взвесим вклад каждого из каналов в конверсию 3 Перераспределяем маркетинговый бюджет 4 Решение: Распределим бюджет с учетом портрета клиентских траекторий, проложенных через маркетинговые и продуктовые события Повышение эффективности платных каналов привлечения на 12% за счет внедрения оценки качества траекторий
38. Как быть, когда пользователям нужно больше одной сессии на принятие решения?
39. Персонализация канала привлечения канал привлечения траектория поведения внутри продукта в прошлую сессию мета информация о пользователе Достижение цели + + определенная аудитория канал, который максимизирует достижение цели привлеченным клиентом ? + +
40. не все следующие каналы одинаково хороши для вашего здоровья вашей конверсии
41. Как мы это сделали
42. Вывод: если персонализировать канал привлечения пользователя, можно получить увеличение конверсии до 20% Что получили:
43. При возможности индивидуального таргетинга – мы правильно выставляем следующий рекламный канал для пользователя В иных случаях, мы симулируем поведение агентов и вычисляем оптимальные соотношения бюджетов между разными каналами.
44. пользуются цифровым продуктом (действия в продукте + транзакции) не пользуются цифровым продуктом (история транзакций) Точки на карте соответствуют полной истории одного пользователя Подход Retentioneering позволяет рассмотреть все данные о пользователе как единую траекторию: Карта по истории банковских транзакций
45. 1. Big Data о действиях пользователей в продуктах можно превратить в траектории и обрабатывать с помощью ML 2. ML позволяет быстро получать поведенческую сегментацию и строить наглядные интерпретируемые карты 3. Сегменты с проблемным поведением позволяют локализовать точки роста бизнеса и разметить их в клиентском пути 4. Касания и клики в рекламных каналах могут быть обработаны тем же пайплайном, чтобы точнее оценить качество трафика и эффективнее бюджетировать каналы Take home message:
46. Retentioneering Opensource платформа для работы с данными пользовательских траекторий pip install retentioneering https://github.com/retentioneering/retentioneering-tools Митапы: https://t.me/retentioneering_meetups Аутсорс продуктовой и маркетинговой аналитики Retentioneering.com Спасибо! facebook.com/maximgodzi