Как повысить конверсию с помощью умной сортировки выдачи. Кейс Ostrovok.ru — Евгений Шнейдерман, Павел Михайлов, Артем Богачев (Ostrovok.ru)

Проблема сортировки товаров в списке выдачи — это классическая задача современного интернет бизнеса. Мы, в Ostrovok.ru, тоже давно озаботились вопросом оптимизации выдачи и проделали много работы на этом пути. В нашем докладе мы расскажем про основные этапы в развитии логики сортировки отелей, опишем проблемы и ошибки, с которыми сталкивались, а также выводы, которые получилось сделать:
— почему оптимизация порядка выдачи — это мощнейший рычаг роста конверсии?
— какие могут быть подходы к логике сортировки, какие у них плюсы и минусы?
— почему подобные решения сложно обеспечить без качественной инфраструктуры Big Data?
— как структурировать проектную команду, чтобы обеспечить быстрые итерации и улучшение Data Science продукта?

Avito Product Analytics Meetup
09/12/2017

Transcript

1. Как повысить конверсию с помощью умной сортировки выдачи? Евгений Шнейдерман Павел Михайлов Артем Богачев Декабрь 2017
2. Об Ostrovok.ru 2 • Крупнейший российский сервис бронирования отелей • 950 000 объектов размещения по всему миру • Российский бренд Ostrovok.ru, международные - Zenhotels.com и Ratehawk.com • Более 400 сотрудников • Команда аналитики 18 человек
3. Содержание Что такое сортировка выдачи? Подходы к сортировке Внедрение новой сортировки и оценка результатов Инфраструктура и команда 1 2 3 4 3
4. Что такое сортировка выдачи?
6. Объект и цель исследования Mainpage SERP Hotel Page Booking Form Voucher Основная посадочная страница сайта Список объектов размещения, отсортированный для оптимизации целевых показателей Страница отеля (фотографии, отзывы, описания, карточки номеров) Ввод данных гостей, пожеланий, оплата Подтверждение успешного бронирования - цель воронки Объект исследования Целевые показатели: 1) Оптимизация конверсии SERP => Voucher 2) Оптимизация выручки 6
7. Важность качества сортировки 34% кликов приходятся на первый отель на SERPе 622 отелей доступно в среднем на SERPе крупного города 82% выручки зарабатывают первые 10 отелей в выдаче 7
8. Это значит... Лучше отели в Top-10 8 Выше конверсия и больше выручка
9. Как это сделать? Подходы к сортировке (разбираем матчасть)
10. Подходы к сортировке 10 Поотельный (pointwise) Score = XX По-парный (pairwise) > Списковый (listwise)
11. Поотельный подход Мы должны присвоить каждому отелю число (score), а потом просто отсортировать по нему НО… Что это должно быть за число? Конверсия? Рейтинг? Комиссия? Релевантность? CTR? 11 Качество контента?
12. Выбор скора: моделируем поведение 12 Hotel Page SERP Voucher Commission CTR Conversion Margin В идеальном мире мы хотим учитывать в скоринге все три показателя: CPD (Commission per Display) Однако в реальности для качественного скоринга на основании всех трех, нужно иметь данные для их оценки по каждому отелю 1X 1X 250X 1000X Data points
13. Выбор скора: CPV 13 Hotel Page SERP Voucher Commission CTR Conversion Margin CPV model CPV (commission per visit) – сумма комиссии в расчете на один визит + оптимизирует важную бизнес метрику $ + легко считается (комиссия / визиты) - не учитывает поведение на SERPе - данных мало, цифры требуют сглаживания - отстает от тренда - “богатые становятся богаче”
14. Выбор скора: SCNV 14 Hotel Page SERP Voucher Commission CTR Conversion Margin SCNV model SCNV% (serp conversion) – конверсия с СЕРПа на ваучер + учитывается СЕРПовая динамика + намного больше данных + намного выше скорость обновления - не учитывает деньги - “богатые становятся богаче”
15. SCNV + Bandit 15 CTR% CNV% × = Решение: дать отелям с малым объемом данных шанс оказаться наверху и набрать их
16. 16 SCNV + Bandit: проблема новичков Чем больше у отеля данных, тем точнее скор выдает ему бандит Но у новых отелей нет данных Т.е. для новых отелей бандит всегда будет выдавать случайные оценки
17. 17 SCNV + Bandit + приорные оценки Выдаем каждому отелю приорную оценку: - берем среднее распределение по группе отеля (регион, звездность) - обучаем модель предсказания распределения на основании характеристик отеля
18. Внедрение новой сортировки и оценка результатов
19. • Две группы: тест (бандит) и контроль (CPV model) • Только новые пользователи, посещавшие SERP • Первые 7 дней после запуска отпускаем на обучение модели • Анализируем цифры за 21 день • Замеряем конверсию и выручку • Для целей анализа результатов игнорируем двойные бронирования и выбросы Описание AB теста 19
20. Результаты 20 +11,2% Конверсия SERP => Voucher 0% SERP CTR +6,7% Выручка Выводы: • Тестовая группа выиграла • Прирост конверсии произошел за счет более дешевых предложений • Пользователи НЕ начали кликать больше, они стали кликать на то, что им нужно
21. Изменение сортировки (Москва) Оказалось, новая логика сортировки выявила склонность пользователей бронировать отели в более дешевой ценовой категории 21
22. Новая логика помогла нам справиться и с другой проблемой - отсутствием доступности после перехода с SERPa Включение этой метрики в поотельные скоры уменьшило долю ошибок почти в два раза Эффект на метрики доступности 22
23. 23 Однако были и эксцессы..
24. Результаты: выручка по каналам Оказалось, результаты эксперимента существенно отличаются для разных типов трафика Это объясняется существенной разницей в пользовательском поведении для разного трафика 24
25. • Раздельная сортировка для разных каналов • Добавление комиссии в расчет сортировки • Внедрение “диверсификации” первых позиций • Использование более сложных моделей (Pairwise, Listwise) Следующие шаги 25
26. Инфраструктура и команда
27. Client devices Дисплеи, клики, переходы Логи событий в сыром виде Backend Данные аггрегируются и раскладываются по ключам в HBase Отсорти- рованные списки Инфраструктура Финальный список отдается клиенту 27
28. Мониторинг и аналитика Backend Дисплеи, клики, переходы, финальные списки выдачи Успешные бронирования Дашборды SQL 28
29. Команда Успешная реализация и развитие подобного проекта требует обязательного присутствия следующих ролей в команде Data Scientist Data Analyst Project Manager Visioner 29
30. Contacts Евгений Шнейдерман Head of Analytics Ostrovok.ru e.shneyderman@ostrovok.ru evgeny.shneyderman