Смешать, но не взбалтывать: как балансировать разные бизнес-метрики в каталоге и поиске. Бислан Ашинов, Data Scientist Lamoda Tech

Каталог и поиск — место, куда пользователь приходит за конкретным товаром и хочет с ним уйти. Как показать ему нужное и при этом помочь бизнесу заработать больше? Пробуем ответить на этот вопрос комплексно:

- Как от задачи простого замешивания рекламы в выдачу мы пришли к задаче оптимизации общей ценности
- Как учимся искать сложный оптимум
- Каких результатов мы добились
- Каким мы видим идеальное будущее

Transcript

1. Смешать, но не взбалтывать: как балансировать разные бизнес-метрики в каталоге и поиске Бислан Ашинов DS team Ranking & Search
2. Lamoda — одна из крупнейших e-commerce компаний в России в сфере fashion & lifestyle 17 млн 1000 MAU RPS в сервис каталога > 800.000 500 товаров миллисекунд на ответ (95-й перцентиль) 123
3. Lamoda — одна из крупнейших e-commerce компаний в России в сфере fashion & lifestyle 124
4. Наш путь ниндзя 0 Мотивация 1 Эффективность рекламы 2 Динамические рекламные товары 3 Линейный блендер. Органика и реклама 4 Линейный блендер 2. Прибыль 125
5. Раньше: оптимизировали только релевантность Счастье пользователя Рост продаж и выручки Статьи про нашу персонализацию: 126
6. Раньше: оптимизировали только релевантность Счастье пользователя Рост продаж и выручки Статьи про нашу персонализацию: 127
7. Какие на самом деле цели бизнес ставит перед каталогом? Объем проданных товаров Высокие конверсии Точный поиск Классный пользовательский опыт Прибыль 128
8. Какие на самом деле цели бизнес ставит перед каталогом? Объем проданных товаров Высокие конверсии Маржинальность проданных товаров Точный поиск Fashion опыт: дискавери, новинки, разнообразие Классный пользовательский опыт Прибыль Оптимальные операционные расходы Рекламный доход Возвраты, отказы Оборачиваемость … … 129
9. Ожидание/Реальность • • • • Пользовательский опыт ↑ Продажи ↑ Прибыль ↑ Реклама ↑ • • • • Пользовательский опыт ↓ Продажи ↑ Прибыль ↑ Реклама ↓ 130
10. Размены Объем продаж Стоимость товара Прибыль 131
11. Размены Объем продаж Стоимость товара Прибыль Объем продаж Стоимость товара Прибыль 132
12. Размены Релевантность = 6 Релевантность = 5 Релевантность = 4 Релевантность = 3 Релевантность = 2 Релевантность = 1 Цена = 9000 Цена = 7000 Цена = 5000 Цена = 4000 Цена = 3000 Цена = 1000 133
13. Одна выдача — оптимизация множества интересов 1 Конверсии 2 Рекламный доход 3 Прибыль 4 Новинки 5 Разнообразие Задача: управлять ранжированием поиска и каталога под текущие бизнес-цели Максимизировать все цели одним решением на практике не всегда получается, в каких-то целях мы должны держать ограничения, где-то мы готовы идти на размены 134
14. Как устроено наше ранжирование ~10000 товаров Органика Реранкер 400 товаров Выдача Реклама Аукцион 135
15. Как устроено наше ранжирование ~10000 товаров Органика Реранкер 400 товаров Учет бизнес целей Реклама Выдача Аукцион 136
16. Эффективность товарной рекламы Счастье пользователя Счастье пользователя Рекламный доход 137
17. Реклама на фиксированных позициях Рекламный аукцион 6 фиксированных позиций Модель cost-per-click 138
18. Реклама на фиксированных позициях Гарантированный инвентарь Где-то уместно меньше рекламы, где-то - больше Плохо учитывается релевантность рекламы Нет возможности управлять доходом 139
19. Динамическая реклама с бустами Рекламный аукцион Товар — пересечение* 6 выделенных позиций Дополнительная реклама * Товар-пересечение — товар, который есть и в органике, в рекламе 140
20. Динамическая реклама с бустами Товар-пересечение* имеет хорошую релевантность Выравниваемся по количеству рекламы Было — 6 рекламных товаров Стало в среднем 7 рекламных товаров * Товар-пересечение — товар, который есть и в органике, в рекламе 141
21. Динамическая реклама с бустами. Результаты ab Общая прибыль (включая рекламу) Купленные товары +2% 142
22. Динамическая реклама с бустами. Возможности и ограничения Гарантированный инвентарь Стало больше релевантной рекламы Плохо учитывается релевантность Промежуточный этап 143
23. Линейный рекламный блендер 144
24. Линейный рекламный блендер Пример для alpha=1.0, beta=0.05 145
25. Линейный рекламный блендер Пример для alpha=1.0, beta=0.05 146
26. Компоненты 147
27. Компоненты Линейная комбинация двух pairwise моделей: добавление в корзину и выкуп Можно использовать любую модель релевантности 148
28. Компоненты Линейная комбинация двух pairwise моделей: добавление в корзину и выкуп Можно использовать любую модель релевантности Ставка x P(Клик) P(Клик) - скалиброванный катбуст Для других моделей рекламы заменяем на P(Действие) 149
29. Как подобрали коэффициенты? Не роняем рекламный доход (AdRev) Растим органическую воронку Растим суммарную прибыль 150
30. Линейный рекламный блендер. Результаты a/b AdRev Organic clicks +3.7% +1% 151
31. Линейный рекламный блендер Можно управлять выручкой Показываем меньше нерелевантной и больше релевантной рекламы Коэффициенты общие для всех категорий и сценариев Только конверсии и реклама 152
32. Оптимизация общей прибыли Счастье пользователя Рекламный доход Счастье пользователя Рекламный доход Прибыль 153
33. Экономика каталога 154
34. Экономика каталога Прибыль 155
35. Экономика каталога Счастье пользователя Прибыль от проданных товаров Прибыль + Рекламная выручка 156
36. Экономика каталога Счастье пользователя Купленные товары + Прибыль от проданных товаров Прибыль + Рекламная выручка Выручка Себестоимость Операционные расходы 157
37. Юнит-экономика одного товара 158
38. Юнит-экономика одного товара • Выручка — за сколько продали товар • Себестоимость — сколько потратили на товар (закупка/комиссия селлера) • Операционные расходы — регулярные расходы бизнеса • Рекламный доход — Ставка * Клики 159
39. Юнит-экономика одного товара • Выручка — за сколько продали товар • Себестоимость — сколько потратили на товар (закупка/комиссия селлера) • Операционные расходы — регулярные расходы бизнеса • Рекламный доход — Ставка * Клики Прибыль = Выручка — Себестоимость — Операционные расходы Рекламный доход 160
40. Экономика каталога Счастье пользователя Купленные товары + Прибыль от проданных товаров Прибыль + Рекламная выручка Выручка Себестоимость Операционные расходы 161
41. Линейный блендер с прибылью 162
42. Компоненты Линейная комбинация двух pairwise моделей: добавление в корзину и выкуп Ставка x P(Клик) 163
43. Компоненты Линейная комбинация двух pairwise моделей: добавление в корзину и выкуп Ставка x P(Клик) Мат Ожидание Прибыли = P(Выкуп) x Прибыль Прибыль оцениваем исторически 164
44. Оптимизация в оффлайне 165
45. Оптимизация в оффлайне Определяем ожидаемый AdRev ΔAdRev < X%, Релевантность -> max, Прибыль -> max Находим оптимизатором такие точки Строим фронт точек рядом с найденными 166
46. Построенный фронт 167
47. Построенный фронт 168
48. Линейный блендер с прибылью. Результаты a/b Купленные товары -1.5% Общая прибыль +0,5% Доля новинок +5% Реальных показов рекламы -7% Рекламных кликов +4% 169
49. Линейный блендер с прибылью Можно управлять балансом между метриками и выбрать подходящий размен Показываем меньше нерелевантной, больше релевантной рекламы Коэффициенты общие для всех категорий и сценариев Изменение базовой модели меняет оптимальные точки 170
50. Оффлайн != онлайн. Подбор коэффициентов Не можем разом протестировать много точек Серия коротких a/b для оценки прокси метрик Длинный a/b с хорошими точками для оценки финансовых метрик 171
51. Изменение базовых моделей Новое распределение компоненты – новый оптимальный фронт Пайплайн переподбора 172
52. Калибровка Pairwise модели не скалиброваны и плохо калибруются! Для матожиданий надо обучать отдельные модели 173
53. Деградация со временем Выбранные размены со временем могут меняться Глобальный контроль: вечный эксп с откатом назад 174
54. Следующие шаги 175
55. Следующие шаги 1 Научиться оптимизировать выдачу listwise 176
56. Следующие шаги 1 Научиться оптимизировать выдачу listwise 2 Решать оптимизационную задачу целочисленного линейного программирования 177
57. Следующие шаги 1 Научиться оптимизировать выдачу listwise 2 Решать оптимизационную задачу целочисленного линейного программирования 3 Стать менее зависимыми от изменений компонент 178
58. Следующие шаги 1 Научиться оптимизировать выдачу listwise 2 Решать оптимизационную задачу целочисленного линейного программирования 3 Стать менее зависимыми от изменений компонент 4 Добавить новые оптимизируемые “интересы” — разнообразие, новинки и т.д. 179
59. Итог 180
60. Итог 1 Думать шире чем релевантность 181
61. Итог 1 Думать шире чем релевантность 2 Рост одной метрики — это “заём” у другой 182
62. Итог 1 Думать шире чем релевантность 2 Рост одной метрики — это “заём” у другой 3 Необходимо параллельно развивать модели 183
63. Итог 1 Думать шире чем релевантность 2 Рост одной метрики — это “заём” у другой 3 Необходимо параллельно развивать модели 4 Блендер – инструмент поиска компромиссов, а не волшебная кнопка 184
64. Бислан Ашинов Email: bislan.ashinov@lamoda.ru Telegram: @Bis_np
65. Спасибо!