Максим Пугачев (IPONWEB), Современная архитектура платформы RTB, CodeFest 2017

https://2017.codefest.ru/lecture/1178

Постоянная эволюция на рынке онлайн-рекламы требует постоянной эволюции технологий, которые лежат в основе. Как работает современная “programmatic buying” платформа? Как обеспечить гибкость *aaS, основанной на облаках, и кастомизацию для десятков клиентов, в то же время, оставаясь в рамках единого стека?

Несмотря на то, что u-Platform состоит из многих частей, я расскажу вкратце о каждой из них, и более подробно рассмотрю компонент, который обеспечивает тот самый highload:

● Архитектура сервера
● Lua и многопоточность: схема работы внутри рабочего потока, coroutines и yield запросы, sandboxing
● Как гарантировать время обработки запроса
● Интеграция с внешними сервисами
● MongoDB и сопутствующий ворох проблем

Transcript

1. Современная архитектура платформы RTB Максим Пугачев IPONWEB
9. IPONWEB • Cloud-based SaaS model
10. IPONWEB • Cloud-based SaaS model • Платформа — набор базовых компонентов и сервисов с возможностью кастомизации под каждого клиента
11. u-Server u-Workflow u-Optimize u-ETL u-Slicer Graphite u-Predict u-Audience Dedicated Shared EXT/Client EXT/Client
12. u-Server • Проприетарный HTTP сервер, написанный с нуля около 10 лет назад
13. u-Server • Проприетарный HTTP сервер, написанный с нуля около 10 лет назад • Lua в качестве бизнес-логики
15. Архитектура • Многопоточность + libevent
16. Архитектура • Многопоточность + libevent • Разделение потоков на типы: Main, Communication, ServiceWorker, Worker
17. Архитектура • Многопоточность + libevent • Разделение потоков на типы: Main, Communication, ServiceWorker, Worker • Main: все ”тяжелые” задачи на перезагрузку/обновление данных, запись данных на диск и т.п.
18. Архитектура • Communication: общение с внешним миром (HTTP, Database), постановка задач для ServiceWorker/Worker
19. Архитектура • Communication: общение с внешним миром (HTTP, Database), постановка задач для ServiceWorker/Worker • ServiceWorker: обслуживание ”административных” запросов
20. Архитектура • Communication: общение с внешним миром (HTTP, Database), постановка задач для ServiceWorker/Worker • ServiceWorker: обслуживание ”административных” запросов • Worker: бизнес-логика
21. Архитектура • Приоритеты задач: minor, normal, urgent, critical
22. Minor Перезагрузка конфигурации Перезагрузка Lua sandbox Shutdown
23. Minor Перезагрузка конфигурации Перезагрузка Lua sandbox Shutdown Normal MongoDB API Новая Lua coroutine
24. Minor Перезагрузка конфигурации Перезагрузка Lua sandbox Shutdown Normal MongoDB API Новая Lua coroutine Urgent MongoDB API (find + next) HTTP request Timeouts (HTTP + MongoDB) Timers
25. Minor Перезагрузка конфигурации Перезагрузка Lua sandbox Shutdown Normal MongoDB API Новая Lua coroutine Urgent MongoDB API (find + next) HTTP request Timeouts (HTTP + MongoDB) Timers Critical MongoDB reply HTTP response
26. Архитектура • Приоритеты задач: minor, normal, urgent, critical • coroutines (Lua thread) и yield запросы
27. Worker Worker Worker Worker Sandbox Sandbox Sandbox Sandbox
28. Sandbox Running Waiting Yield coroutine coroutine coroutine new request
29. Архитектура • Приоритеты задач: minor, normal, urgent, critical • coroutines (Lua thread) и yield запросы • Гарантия времени выполнения запроса
30. Архитектура • Приоритеты задач: minor, normal, urgent, critical • coroutines (Lua thread) и yield запросы • Гарантия времени выполнения запроса • Sandboxing
32. Выводы • Не бойтесь менять архитектуру в процессе разработки. Это неизбежно
33. Выводы • Не бойтесь менять архитектуру в процессе разработки. Это неизбежно • Ограничивайте свободу действий разработчика и/или пользователя, если это необходимо. Даже если они с этим не согласны
34. Выводы • Не бойтесь менять архитектуру в процессе разработки. Это неизбежно • Ограничивайте свободу действий разработчика и/или пользователя, если это необходимо. Даже если они с этим не согласны • Заимствуйте опыт коллег из других областей
35. Вопросы? pugachev.mm@gmail.com pugachev.maxim