Moscow Python Meetup №82. Руслан Дудов и Хачатур Саркисян (Сбер). Как мы ищем клиента по фото за доли секунды среди десятков миллионов пользователей

Задача поиска людей по фото — это вычислительно сложная задача нечеткого поиска. Для решения этой проблемы используются биометрические вектора, которые извлекаются из фотографий с помощью нейронных сетей. Однако, даже два вектора, полученные из разных фото одного человека, не совпадают на 100%. Поэтому, в отличие от поиска на точное совпадение, эта задача на порядки сложнее.

В докладе будет рассказано о том, как мы решили эту задачу и какие сложности пришлось преодолеть, учитывая жесткие требования по скорости ответа при высокой интенсивности запросов:

- Оптимизация поиска похожих биометрических векторов: сравнение инструментов и выбор наилучшего подхода.

- Как быстро загрузить базу клиентов в память модуля поиска: без C++ и перерасхода памяти.

- Как можно искать ещё быстрее? Индексирование базы векторов: подходы и методы для многократного ускорения поиска.

Доклад будет интересен не только тем, кто сталкивается с задачами нечеткого поиска по данным с большим количеством категорий, но и для разработчиков, которые заинтересованы в понимании особенностей работы Python при обработке больших объемов данных.

Видео: https://moscowpython.ru/admin/meetup/talk/254/change/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

2. • • • •
3. • •
16. σ𝑖=0 𝑁 𝑥𝐴𝑖 − 𝑥𝐵𝑖 2
17. σ𝑖=0 𝑁 𝑥𝐴𝑖 𝑥𝐵𝑖
18. • • • •
38. • • • • •
40. •
41. • •
42. • • •
44. •
45. • •
46. • • •
62. •
63. • • •
64. •
65. • •
66. •
67. • •
68. • • •
69. •
70. • • •
82. • •
83. • • • • • • •
85. •
86. • • •
88. •
89. •
90. • •
91. • • •
93. • •
94. • • • •
97. • •
98. •
99. • •
100. •
101. • •
102. •
103. • •
104. • • •
105. • • • •
106. •
107. • • • • • •