Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Learn-to-Rank или как научить бездушную машину хорошо искать

Learn-to-Rank или как научить бездушную машину хорошо искать

Роман Гребенников (http://deeprefactoring.ru/speakers/roman-grebennikov)

Видео: https://youtu.be/nvxVMCtRpNc

Ввел поисковый запрос - получил идеальный список результатов, чего уж тут проще? Но ведь сам текст поискового запроса это далеко не единственное, что может быть известно в момент нажатия на кнопку “поиск”: разные люди в разном контексте могут быть заинтересованы совсем в разных вещах, даже если ввели одно и то же.

Можно городить пирамиду из if-else-if-else, чтобы получить идеальное ранжирование результатов в вакууме, а можно послушать этот доклад, в котором мы обсудим алгоритмы Learn-to-Rank, позволяющие обучить бездушную машину неявным зависимостям в поведении пользователей и ранжировать по-разному в зависимости от текущего контекста.

Благодаря опыту простреливания далеко не одной ноги в области создания поисковой системы для 1500 онлайн-магазинов, мы ответим на следующие вопросы:

- влияет ли релевантность поиска на продажи,
- почему скорость реакции алгоритма на внешние события так важна (и как её уменьшить, если ты не гугл),
- что делать, если люди тыкают на первые результаты потому что они первые, а не потому что они хорошие,
- как использовать модель, обученную на магазине по продаже дилдо, для ранжирования товаров в магазине детских игрушек?

========================
"Глубокий Рефакторинг" - открытый клуб разработчиков и профессионалов IT-индустрии Воронежа, организующий доклады на профильные темы - http://deeprefactoring.ru/

Открытый чат: https://t.me/deeprefactoring
Новостной канал: https://t.me/deeprefactoring_news
Видео всех докладов - https://www.youtube.com/c/deeprefactoring
Слайды выступлений: https://speakerdeck.com/deeprefactoring

Группа FB - https://www.facebook.com/groups/deeprefactoring
Группа ВК - https://vk.com/deeprefactoring
===========================

Deep Refactoring

July 31, 2019
Tweet

More Decks by Deep Refactoring

Other Decks in Education

Transcript

  1. LEARN-TO-RANK
    LEARN-TO-RANK
    ИЛИ КАК НАУЧИТЬ БЕЗДУШНУЮ МАШИНУ ХОРОШО ИСКАТЬ
    ИЛИ КАК НАУЧИТЬ БЕЗДУШНУЮ МАШИНУ ХОРОШО ИСКАТЬ
    Grebennikov Roman / / /
    Deep Refactoring / Voronezh / 2019
    ndify.io @public_void_grv [email protected]
    1

    View full-size slide

  2. ПРО FINDIFY
    ПРО FINDIFY
    2

    View full-size slide

  3. ПРО FINDIFY
    ПРО FINDIFY
    white-label eCommerce SaaS search
    2

    View full-size slide

  4. ПРО FINDIFY
    ПРО FINDIFY
    white-label eCommerce SaaS search
    1500 магазинов, 20M товаров
    2

    View full-size slide

  5. ПРО FINDIFY
    ПРО FINDIFY
    white-label eCommerce SaaS search
    1500 магазинов, 20M товаров
    50M посетителей в месяц
    2

    View full-size slide

  6. FINDIFY В ДАЛЕКОМ 2014
    FINDIFY В ДАЛЕКОМ 2014
    3

    View full-size slide

  7. FINDIFY В ДАЛЕКОМ 2014
    FINDIFY В ДАЛЕКОМ 2014
    Плагин для shopify, фокус на UI
    3

    View full-size slide

  8. FINDIFY В ДАЛЕКОМ 2014
    FINDIFY В ДАЛЕКОМ 2014
    Плагин для shopify, фокус на UI
    Внутри ElasticSearch
    3

    View full-size slide

  9. FINDIFY В ДАЛЕКОМ 2014
    FINDIFY В ДАЛЕКОМ 2014
    Плагин для shopify, фокус на UI
    Внутри ElasticSearch
    Ранжирование ES по-умолчанию
    3

    View full-size slide

  10. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    4

    View full-size slide

  11. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    никто не скроллит вниз
    4

    View full-size slide

  12. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    5

    View full-size slide

  13. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    второго раза не будет
    5

    View full-size slide

  14. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    6

    View full-size slide

  15. ВАЖНОСТЬ РАНЖИРОВАНИЯ
    ВАЖНОСТЬ РАНЖИРОВАНИЯ
    и завтра никто не вернется
    6

    View full-size slide

  16. ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    7

    View full-size slide

  17. ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    1. Зашел на страницу товара (0s)
    7

    View full-size slide

  18. ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    1. Зашел на страницу товара (0s)
    2. Куда-то тыкнул (+10s)
    7

    View full-size slide

  19. ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    1. Зашел на страницу товара (0s)
    2. Куда-то тыкнул (+10s)
    3. Сделал поиск (+20s)
    7

    View full-size slide

  20. ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    ТИПИЧНАЯ СЕССИЯ ПОЛЬЗОВАТЕЛЯ
    1. Зашел на страницу товара (0s)
    2. Куда-то тыкнул (+10s)
    3. Сделал поиск (+20s)
    4. Ушел навсегда (+30s)
    7

    View full-size slide

  21. НАДО ЧТО-ТО МЕНЯТЬ
    НАДО ЧТО-ТО МЕНЯТЬ
    8

    View full-size slide

  22. МЕШН ЛЕРНИНГ!
    МЕШН ЛЕРНИНГ!
    9

    View full-size slide

  23. МЕШН ЛЕРНИНГ!
    МЕШН ЛЕРНИНГ!
    9

    View full-size slide

  24. AI ML
    AI ML
    Algorithm Conversion AOV
    11

    View full-size slide

  25. AI ML
    AI ML
    Algorithm Conversion AOV
    Elasticsearch baseline baseline
    11

    View full-size slide

  26. AI ML
    AI ML
    Algorithm Conversion AOV
    Elasticsearch baseline baseline
    Regression +3.1% +2.5%
    11

    View full-size slide

  27. НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    12

    View full-size slide

  28. НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    Learn to Rank
    12

    View full-size slide

  29. НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    Learn to Rank
    RankBoost, AdaRank, LambdaRank, LambdaMART
    12

    View full-size slide

  30. НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    НЕ ИЗОБРЕТАТЬ ВЕЛОСИПЕД
    Learn to Rank
    RankBoost, AdaRank, LambdaRank, LambdaMART
    XGBoost / LightGBM / CatBoost
    12

    View full-size slide

  31. LEARN TO ЧЁ?
    LEARN TO ЧЁ?
    или что не так с регрессией
    13

    View full-size slide

  32. NDCG
    NDCG
    Normalized Discounted Cumulative Gain
    14

    View full-size slide

  33. RANKBOOST
    RANKBOOST
    15

    View full-size slide

  34. RANKBOOST
    RANKBOOST
    Засунуть NDCG как метрику в регрессию
    15

    View full-size slide

  35. RANKBOOST
    RANKBOOST
    Засунуть NDCG как метрику в регрессию
    Градиентным спуском подобрать параметры
    15

    View full-size slide

  36. ADARANK
    ADARANK
    16

    View full-size slide

  37. ADARANK
    ADARANK
    Засунуть NDCG как метрику в регрессию (опять)
    16

    View full-size slide

  38. ADARANK
    ADARANK
    Засунуть NDCG как метрику в регрессию (опять)
    Аналитически вычислить оптимальные параметры
    16

    View full-size slide

  39. LAMBDARANK
    LAMBDARANK
    17

    View full-size slide

  40. LAMBDARANK
    LAMBDARANK
    Нейросеть вместо регрессии
    17

    View full-size slide

  41. LAMBDARANK
    LAMBDARANK
    Нейросеть вместо регрессии
    Градиентным спуском подобрать параметры
    17

    View full-size slide

  42. LAMBDAMART
    LAMBDAMART
    18

    View full-size slide

  43. LAMBDAMART
    LAMBDAMART
    Нейросеть тормозит и сложна
    18

    View full-size slide

  44. LAMBDAMART
    LAMBDAMART
    Нейросеть тормозит и сложна
    Multiple Additive Regression Trees
    18

    View full-size slide

  45. LAMBDAMART
    LAMBDAMART
    Нейросеть тормозит и сложна
    Multiple Additive Regression Trees
    Градиентным спуском подобрать параметры
    18

    View full-size slide

  46. LAMBDAMART
    LAMBDAMART
    Нейросеть тормозит и сложна
    Multiple Additive Regression Trees
    Градиентным спуском подобрать параметры
    18

    View full-size slide

  47. ИНТЕГРАЦИЯ С ELASTICSEARCH
    ИНТЕГРАЦИЯ С ELASTICSEARCH
    ltr-плагин, обертка над xgboost
    19

    View full-size slide

  48. ИНТЕГРАЦИЯ С ELASTICSEARCH
    ИНТЕГРАЦИЯ С ELASTICSEARCH
    ltr-плагин, обертка над xgboost
    19

    View full-size slide

  49. ИНТЕГРАЦИЯ С ELASTICSEARCH
    ИНТЕГРАЦИЯ С ELASTICSEARCH
    21

    View full-size slide

  50. ОБУЧЕНИЕ
    ОБУЧЕНИЕ
    22

    View full-size slide

  51. ОБУЧЕНИЕ
    ОБУЧЕНИЕ
    Исторические данные о поисках-кликах-покупках
    22

    View full-size slide

  52. ОБУЧЕНИЕ
    ОБУЧЕНИЕ
    Исторические данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    22

    View full-size slide

  53. ОБУЧЕНИЕ
    ОБУЧЕНИЕ
    Исторические данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    Цель - минимизация NDCG
    22

    View full-size slide

  54. ФИЧИ
    ФИЧИ
    поисковый запрос: # слов, # фильтров
    товар: цена, # просмотров
    вариант: цвет, размер
    сессия пользователя: чувствительность к цене, # поисков
    профиль пользователя: # сессий
    запрос+товар: # просмотров в рамках запроса
    23

    View full-size slide

  55. ФИЧИ
    ФИЧИ
    поисковый запрос: # слов, # фильтров
    товар: цена, # просмотров
    вариант: цвет, размер
    сессия пользователя: чувствительность к цене, # поисков
    профиль пользователя: # сессий
    запрос+товар: # просмотров в рамках запроса
    + на разных интервалах
    23

    View full-size slide

  56. ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    26

    View full-size slide

  57. ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    26

    View full-size slide

  58. ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    ВЫШЛО ХОРОШО, НО НЕ ОЧЕНЬ
    Algorithm Conversion AOV
    Elasticsearch baseline baseline
    Regression +3.1% +2.5%
    LMART v1 +6.1% (+8.1%) no data
    27

    View full-size slide

  59. КОСЯКИ
    КОСЯКИ
    Исторические данные о поисках-кликах-покупках
    28

    View full-size slide

  60. КОСЯКИ
    КОСЯКИ
    Исторические данные о поисках-кликах-покупках
    28

    View full-size slide

  61. КОСЯКИ
    КОСЯКИ
    Исторические данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    28

    View full-size slide

  62. КОСЯКИ
    КОСЯКИ
    Исторические данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    Цель - минимизация NDCG
    28

    View full-size slide

  63. ПОЛОЖИТЕЛЬНАЯ ОБРАТНАЯ СВЯЗЬ
    ПОЛОЖИТЕЛЬНАЯ ОБРАТНАЯ СВЯЗЬ
    29

    View full-size slide

  64. ПОЛОЖИТЕЛЬНАЯ ОБРАТНАЯ СВЯЗЬ
    ПОЛОЖИТЕЛЬНАЯ ОБРАТНАЯ СВЯЗЬ
    30

    View full-size slide

  65. POSITION
    POSITION
    31

    View full-size slide

  66. СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    32

    View full-size slide

  67. СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    32

    View full-size slide

  68. СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    СЛУЧАЙНОЕ РАНЖИРОВАНИЕ
    Algorithm Conversion AOV
    Elasticsearch baseline baseline
    Regression +3.1% +2.5%
    LMART v1 +6.1% (+8.1%) no data
    Random -2.8% -1.3%
    33

    View full-size slide

  69. POSITION BIAS
    POSITION BIAS
    L. Li, W. Chu, J. Langford, R. Schapire. 2010.
    A contextual-bandit approach to personalized news article recommendation.
    34

    View full-size slide

  70. POSITION BIAS
    POSITION BIAS
    L. Li, W. Chu, J. Langford, R. Schapire. 2010.
    A contextual-bandit approach to personalized news article recommendation.
    Два сегмента: exploration и exploitation
    убрать bias при обучении
    34

    View full-size slide

  71. POSITION BIAS
    POSITION BIAS
    L. Li, W. Chu, J. Langford, R. Schapire. 2010.
    A contextual-bandit approach to personalized news article recommendation.
    Два сегмента: exploration и exploitation
    убрать bias при обучении
    34

    View full-size slide

  72. EXPLORATION
    EXPLORATION
    35

    View full-size slide

  73. EXPLORATION
    EXPLORATION
    0.1-1% всего трафика
    35

    View full-size slide

  74. EXPLORATION
    EXPLORATION
    0.1-1% всего трафика
    первая страница результатов поиска перемешана
    35

    View full-size slide

  75. EXPLORATION
    EXPLORATION
    0.1-1% всего трафика
    первая страница результатов поиска перемешана
    используется для обучения
    35

    View full-size slide

  76. КОСЯКИ
    КОСЯКИ
    Исторические
    репрезентативные данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    Цель - минимизация NDCG
    36

    View full-size slide

  77. КОСЯКИ
    КОСЯКИ
    Исторические
    репрезентативные данные о поисках-кликах-покупках
    Отдельная модель для каждого магазина
    Цель - минимизация NDCG
    36

    View full-size slide

  78. ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    37

    View full-size slide

  79. ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    Магазины с низким трафиком
    37

    View full-size slide

  80. ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    Магазины с низким трафиком
    Время на онбординг и холодный старт
    37

    View full-size slide

  81. ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    ОТДЕЛЬНАЯ МОДЕЛЬ ДЛЯ КАЖДОГО МАГАЗИНА
    Магазины с низким трафиком
    Время на онбординг и холодный старт
    Отвратительное ранжирования для сегмента "Exploration"
    37

    View full-size slide

  82. ОДНАЖДЫ НА ХАКАТОНЕ
    ОДНАЖДЫ НА ХАКАТОНЕ
    38

    View full-size slide

  83. ОДНАЖДЫ НА ХАКАТОНЕ
    ОДНАЖДЫ НА ХАКАТОНЕ
    Заменить костыли на ML для автокомплита
    38

    View full-size slide

  84. ОДНАЖДЫ НА ХАКАТОНЕ
    ОДНАЖДЫ НА ХАКАТОНЕ
    Заменить костыли на ML для автокомплита
    гораздо проще чем поиск
    38

    View full-size slide

  85. ОДНАЖДЫ НА ХАКАТОНЕ
    ОДНАЖДЫ НА ХАКАТОНЕ
    Заменить костыли на ML для автокомплита
    гораздо проще чем поиск
    все фичи зависят только от языка
    38

    View full-size slide

  86. ОДНАЖДЫ НА ХАКАТОНЕ
    ОДНАЖДЫ НА ХАКАТОНЕ
    Заменить костыли на ML для автокомплита
    гораздо проще чем поиск
    все фичи зависят только от языка
    три магазина для теста: S, M, XXL
    38

    View full-size slide

  87. РЕЗУЛЬТАТЫ?
    РЕЗУЛЬТАТЫ?
    39

    View full-size slide

  88. ПЕРЕСАДКА МОДЕЛИ
    ПЕРЕСАДКА МОДЕЛИ
    40

    View full-size slide

  89. ПЕРЕСАДКА МОДЕЛИ
    ПЕРЕСАДКА МОДЕЛИ
    из XXL магазина в S:
    40

    View full-size slide

  90. ПЕРЕСАДКА МОДЕЛИ
    ПЕРЕСАДКА МОДЕЛИ
    из XXL магазина в S:
    40

    View full-size slide

  91. ОБОБЩЕННАЯ МОДЕЛЬ
    ОБОБЩЕННАЯ МОДЕЛЬ
    41

    View full-size slide

  92. ОБОБЩЕННАЯ МОДЕЛЬ
    ОБОБЩЕННАЯ МОДЕЛЬ
    Больще данных
    41

    View full-size slide

  93. ОБОБЩЕННАЯ МОДЕЛЬ
    ОБОБЩЕННАЯ МОДЕЛЬ
    Больще данных
    Лучшее покрытие необычных случаев
    41

    View full-size slide

  94. ОБОБЩЕННАЯ МОДЕЛЬ
    ОБОБЩЕННАЯ МОДЕЛЬ
    Больще данных
    Лучшее покрытие необычных случаев
    Не надо собирать данные для нового магазина
    41

    View full-size slide

  95. ОБОБЩЕННАЯ МОДЕЛЬ
    ОБОБЩЕННАЯ МОДЕЛЬ
    Больще данных
    Лучшее покрытие необычных случаев
    Не надо собирать данные для нового магазина
    Фичи нужно масштабировать
    41

    View full-size slide

  96. КОСЯКИ
    КОСЯКИ
    Исторические репрезентативные данные о поисках-кликах-
    покупках
    Отдельная Обобщенная модель
    Цель - минимизация NDCG
    42

    View full-size slide

  97. КОСЯКИ
    КОСЯКИ
    Исторические репрезентативные данные о поисках-кликах-
    покупках
    Отдельная Обобщенная модель
    Цель - минимизация NDCG
    42

    View full-size slide

  98. NDCG
    NDCG
    1.0 - хорошо, 0.0 - плохо, 0.4-0.7 - норм
    43

    View full-size slide

  99. NDCG
    NDCG
    1.0 - хорошо, 0.0 - плохо, 0.4-0.7 - норм
    сравнивает идеальное ранжирование с реальным
    43

    View full-size slide

  100. NDCG
    NDCG
    1.0 - хорошо, 0.0 - плохо, 0.4-0.7 - норм
    сравнивает идеальное ранжирование с реальным
    какое такое идеальное ранжирование?
    43

    View full-size slide

  101. ИДЕАЛЬНОЕ РАНЖИРОВАНИЕ
    ИДЕАЛЬНОЕ РАНЖИРОВАНИЕ
    44

    View full-size slide

  102. STANLEY BONG
    STANLEY BONG
    45

    View full-size slide

  103. STANLEY BONG
    STANLEY BONG
    Позиция в поиске поднялась с #20 до #1
    45

    View full-size slide

  104. STANLEY BONG
    STANLEY BONG
    Позиция в поиске поднялась с #20 до #1
    Ни разу никто не купил
    45

    View full-size slide

  105. STANLEY BONG
    STANLEY BONG
    Позиция в поиске поднялась с #20 до #1
    Ни разу никто не купил
    Стоит всего 3500$
    45

    View full-size slide

  106. STANLEY BONG
    STANLEY BONG
    46

    View full-size slide

  107. STANLEY BONG
    STANLEY BONG
    пере-оптимизировали для кликов
    46

    View full-size slide

  108. ИДЕАЛЬНОЕ РАНЖИРОВАНИЕ
    ИДЕАЛЬНОЕ РАНЖИРОВАНИЕ
    47

    View full-size slide

  109. TRAINING ISSUES
    TRAINING ISSUES
    Исторические репрезентативные данные о поисках-кликах-
    покупках
    Отдельная Обобщенная модель
    Цель - минимизация NDCG (с корректными весами!)
    48

    View full-size slide

  110. РЕЗУЛЬТАТЫ
    РЕЗУЛЬТАТЫ
    49

    View full-size slide

  111. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    50

    View full-size slide

  112. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    50

    View full-size slide

  113. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    Popularity 0.578
    50

    View full-size slide

  114. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    Popularity 0.578
    Elasticsearch 0.601
    50

    View full-size slide

  115. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    Popularity 0.578
    Elasticsearch 0.601
    Regression 0.615
    50

    View full-size slide

  116. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    Popularity 0.578
    Elasticsearch 0.601
    Regression 0.615
    LMART v1 ~0.621
    50

    View full-size slide

  117. NDCG WITH PERSONALIZATION
    NDCG WITH PERSONALIZATION
    Algorithm NDCG (of ine)
    Random 0.544
    Popularity 0.578
    Elasticsearch 0.601
    Regression 0.615
    LMART v1 ~0.621
    LMART unbiased 0.635
    50

    View full-size slide

  118. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    51

    View full-size slide

  119. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    Elasticsearch 0.601 baseline baseline baseline
    51

    View full-size slide

  120. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    Elasticsearch 0.601 baseline baseline baseline
    Random 0.544 -7.1% -2.8% -1.3%
    51

    View full-size slide

  121. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    Elasticsearch 0.601 baseline baseline baseline
    Random 0.544 -7.1% -2.8% -1.3%
    Regression 0.615 -1.1% +3.1% +2.5%
    51

    View full-size slide

  122. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    Elasticsearch 0.601 baseline baseline baseline
    Random 0.544 -7.1% -2.8% -1.3%
    Regression 0.615 -1.1% +3.1% +2.5%
    LMART v1 ~0.621 no data +6.1% no data
    51

    View full-size slide

  123. NDCG AND BUSINESS METRICS
    NDCG AND BUSINESS METRICS
    Algorithm NDCG CTR Conversion AOV
    Elasticsearch 0.601 baseline baseline baseline
    Random 0.544 -7.1% -2.8% -1.3%
    Regression 0.615 -1.1% +3.1% +2.5%
    LMART v1 ~0.621 no data +6.1% no data
    LMART unbiased 0.635 no data +8.1% (est) no data
    51

    View full-size slide

  124. ВЫВОДЫ
    ВЫВОДЫ
    52

    View full-size slide

  125. ВЫВОДЫ
    ВЫВОДЫ
    Лучше поиск - больше денег
    52

    View full-size slide

  126. ВЫВОДЫ
    ВЫВОДЫ
    Лучше поиск - больше денег
    Можно легко прострелить ногу
    52

    View full-size slide

  127. ВЫВОДЫ
    ВЫВОДЫ
    Лучше поиск - больше денег
    Можно легко прострелить ногу
    Умножьте оценку сроков на
    52

    View full-size slide