Анатомия баннерной системы Lamoda

Лев Тонких (Lamoda) @ MoscowPython Meetup 46

"В докладе рассмотрим баннерную систему, разработанную в Lamoda.

Поговорим о функционале этой системы, из каких частей она состоит, расскажем о планах, и узнаем, с какими трудностями пришлось столкнуться на пути в прод".

Видео: http://www.moscowpython.ru/meetup/46/anatomija-bannernoj-sistemy-lamoda/

Transcript

1. Анатомия баннерной системы Лев Тонких Я тут работаю !
5. Быково
9. 60+ сервисов
11. LAMODA TECHNOLOGY RADAR - 2017.06
12. Баннерная система
13. Родовые травмы • Началось с Werkzeug, Flask.. • Кончилось велосипедами • Тяжело поддерживать • 150 ms, 60% timeouts • deploy скриптами
14. Неприемлемо!
15. Цели Пережить Black Friday Надежность, отказоустойчивость response time, % timeouts
16. 21m banners view per day 40m requests 300k clicks
17. 10 ms
18. – Dmitriy Zhiltsov, System Architect “Баннерка должна отвечать за 3 ms!” Lamoda Tech Профилирование приложений Python в реальном времени
20. Баннерная система баннерный сервер система управления баннерными кампаниями система статистики
21. правила таргетинга CRUD UI Публикация статика СУБК Storage баннерный сервер баннерный сервер баннерный сервер баннерный сервер Баннерный сервер Статистика Запрос Упрощенная схема
22. Узкие места
23. Публикация правила таргетинга Публикация статика Storage • Все и сразу • Без очередей
24. Генерация правил таргетинга + обновление правила таргетинга СУБК Storage Баннерный сервер • 2 - 3 минуты • не всегда удачно
25. Явная проблема Публикация Storage баннерный сервер баннерный сервер баннерный сервер баннерный сервер Баннерный сервер
26. Синхронный баннерный сервер баннерный сервер баннерный сервер баннерный сервер баннерный сервер Баннерный сервер Запрос 150 ms 60% timeouts
27. Баннерная система баннерный сервер система управления баннерными кампаниями система статистики
29. creative = images + html mobile web
30. Система управления баннерными кампаниями • Создание кампаний • Создание баннеров • Создание таргетинга • Выбор площадок (слотов) • Просмотр отчетов • Публикация в бс UI
31. 30 000 активных баннеров
32. Внимание! Единственный компонент системы на Django! +alembic НО! • быстро наваять • admin interface
33. Storage
34. Хранилище • html баннеров • img • правила таргетинга • etc. баннер
35. • Креативы надо где-то хранить • База для этого не сильно подходит (аварийная ситуация) • Nginx лучше подходит для кэширования и раздачи статики • Docker..
36. Где размещать • Трафик • Обновление • Дисковое пространство FS баннерного сервера Webdav, s3, … • Меньше данных на каждом из серверов • Одно монолитное хранилище • Легко масштабировать
37. • БС занимается показом баннеров — находит оптимальный баннер под заданные условия • targeting.json — правила таргетинга • 1 per time Публикация на webdav
38. Баннерная система баннерный сервер система управления баннерными кампаниями система статистики
39. Баннерный сервер • простота (2 + 2) • слабая связаность • масштабируемость • отказоустойчивость Mission critical component old version (Werkzeug) — 150 ms. new — 10 ms
40. Синхронизация pull or push?
41. Pull • Сразу видно, если что- то пошло не так • удобно обновлять все сервера • cron • по-событию • доступ к webdav Push • если есть лимиты - оповещать, чтобы не было перекруток • регистрация всех серверов = +1 точка отказа • health checks • 1 • 2
42. targeting >= 10^n MB Как передать баннерному серверу?
43. targeting.json — M MB Инстансов баннерного сервера — G шт Публикация новых правил в день — O раз Передадим MB данных Если То
44. O * M * G * N N — кол-во датацетров +
45. Full • Обновление всего содержимого • Большой объем данных Diff • Δ с последнего обновления • сложно реализовать • малый объем передачи данных
46. поменялось название баннера Что присылать?
47. ad_1 -> moscow_python_ad *пример
48. Объект или часть объекта Вот, в чем вопрос
49. Как сделали мы • Большая вложенная структура • Отправляем изменившиеся сущности Изменилось название баннера — отправляем весь объект баннера + easy debug
50. Таргетинг
51. Как работает req front req` http headers: gender age country …18+ bs html(banners), redirects resp webdav creatives targeting rules … * very lite version stats готовая информация 10 ms no cache
52. Что происходит в BS • pull правил • f = lambda x: eval(exprs) -> True | False • {‘key’: [f1, f2, f3, …]} • x — request obj • O(n) релевантный баннер
53. И запустили…
56. 21m banners view per day 40m requests 300k clicks 150 ms, 60% timeouts 10 ms, 0.04% timeouts
57. lev.tonkih@lamoda.ru https://github.com/stleon Спасибо! Вопросы? tech.lamoda.ru
58. Как работает req front req` http headers: gender age country …18+ bs html(banners), redirects resp webdav creatives targeting rules … * very lite version stats готовая информация 10 ms no cache
59. Что происходит в BS • pull правил • f = lambda x: eval(exprs) -> True | False • {‘key’: [f1, f2, f3, …]} • x — request obj • O(n) релевантный баннер
60. Неприемлемо!
61. 21m banners view per day 40m requests 300k clicks 150 ms, 60% timeouts 10 ms, 0.04% timeouts