Переложи всё на инфру

В своём докладе расскажу, как мы решаем типовые микросервисные задачи: как привнести надёжность в коммуникацию между сервисами, как организовать аутентификацию и авторизацию (и как их не путать!), как разделять данные на разные микросервисные базы, как быть с event driven, cqrs, shared database паттернами.

Расскажу, какие есть варианты, если мы всё разнесли по разным базами, а нам вдруг понадобились данные нескольких баз одновременно.

Расскажу какая бывает надёжность, без духоты, конкретно притащу все паттерны, что знаю, и честно скажу, что мы используем, а что нет, и что может быть полезно вам.

Всё это будет на питоне, но для всех этих случаев я покажу и расскажу, какие есть варианты получить всё то же самое, но без кода, прямо «на инфре».

https://pycon.ru/perelozhi-vsyo-na-infru

Transcript

1. ПЕРЕЛОЖИ ВСЁ НА ИНФРУ Денис Аникин, https://xfenix.ru 1
2. КТО Я Техлид в AI Platform в Райфе — Лидер корп. Python Community — Python, typescript, kubernetes, архитектура — Выступаю, работаю в ПК — 2
3. О ЧЁМ ДОКЛАД Ключевые микросервисные паттерны — Надёжность — Как всё сделать дешевле (на инфре) — 3
5. SHARED DATABASE 5
6. О ПАТТЕРНЕ 6
7. ВАЖНЫЕ МОМЕНТЫ Считается анти-паттерном — Решает задачи — Иногда можно — 7 Shared database :: О паттерне
8. И КОГДА ЖЕ? Немного изменений — Небольшая нагрузка — Не очень важна устойчивость — 8 Shared database :: О паттерне
9. 9 Shared database :: О паттерне
10. ПРОЧИЕ ПРОБЛЕМЫ Количество соединений — + Рестарт — + Деплой — 10 Shared database :: О паттерне
11. КАК БЫТЬ С НАДЕЖНОСТЬЮ? 11
12. ПЕРЕЙТИ К… 12 Shared database :: Как быть с надежностью?
13. DATABASE PER SERVICE 13
14. О ПАТТЕРНЕ 14
15. ВАЖНЫЕ МОМЕНТЫ База для любой микросервисной архитектуры — Каждый сервис — своя база — Всё вроде просто, но… — 15 Database per service :: О паттерне
16. 16 Database per service :: О паттерне
17. ПОЛУЧАЕМ ДАННЫЕ ДРУГОГО СЕРВИСА 17
18. 18 Database per service :: Получаем данные другого сервиса
19. ИДЕЯ НЕ ОЧЕНЬ 19 Database per service :: Получаем данные другого сервиса
20. МЫ ВЕРНУЛИСЬ К SHARED DATABASE 20 Database per service :: Получаем данные другого сервиса
21. ПОЛУЧАЕМ ДАННЫЕ «СЕРВИСА B» СИНХРОННО 21
22. 22 Database per service :: Получаем данные «сервиса B» синхронно
23. НЮАНСЫ REST Не текут абстракции — Контракт стабилен («ну типа») — Но всё ли ок? — 23 Database per service :: Получаем данные «сервиса B» синхронно
24. async def fetch_some_data_from_service_b(httpx_client): service_b_data = await httpx_client.get("https://service-b/entity") ... service_b_data["title"] # используем где-то ... 1 2 3 4 5 service_b_data = await httpx_client.get("https://service-b/entity") async def fetch_some_data_from_service_b(httpx_client): 1 2 ... 3 service_b_data["title"] # используем где-то 4 ... 5 24 Database per service :: Получаем данные «сервиса B» синхронно
25. СИНХРОННО + НАДЁЖНО 25
26. Категория Что это? Как достичь? Robustness Плохой ввод не ломает Pydantic, defensive prog. (100% mypy), ruff Resilience Восстанавливается после сбоя Circuit breakers, retries, fallbacks + cache, bulkhead Reliability Работает стабильно и предсказуемо Репликация, мониторинг, алерты, auto-restart 26 Database per service :: Синхронно + надёжно
27. async def really_fetch_data_from_b(...): return await httpx_client.get("https://service-b/entity") async def fetch_some_data_from_service_b(...): ... service_b_data = really_fetch_data_from_b(...) service_b_data["title"] # используем где-то ... @cachebox.cached(cachebox.TTLCache(0, ttl=30)) 1 @stamina.retry(on=httpx.HTTPError, attempts=3, wait_initial=0.2) 2 3 4 5 6 7 8 9 10 @cachebox.cached(cachebox.TTLCache(0, ttl=30)) @stamina.retry(on=httpx.HTTPError, attempts=3, wait_initial=0.2) 1 2 async def really_fetch_data_from_b(...): 3 return await httpx_client.get("https://service-b/entity") 4 5 async def fetch_some_data_from_service_b(...): 6 ... 7 service_b_data = really_fetch_data_from_b(...) 8 service_b_data["title"] # используем где-то 9 ... 10 27 Database per service :: Синхронно + надёжно
28. 28 Database per service :: Синхронно + надёжно
29. async def really_fetch_data_from_b(...): return await httpx_client.get("https://service-b/entity") async def fetch_some_data_from_service_b(...): ... service_b_data = really_fetch_data_from_b(...) service_b_data["title"] # используем где-то ... from aiobreaker import CircuitBreaker 1 2 emergency_db_breaker = CircuitBreaker(fail_max=5, reset_timeout=... 60) 3 4 @emergency_db_breaker 5 @cachebox.cached(cachebox.TTLCache(0, ttl=30)) 6 @stamina.retry(on=httpx.HTTPError, attempts=3, wait_initial=0.2) 7 8 9 10 11 12 13 14 15 emergency_db_breaker = CircuitBreaker(fail_max=5, reset_timeout=... 60) @emergency_db_breaker @cachebox.cached(cachebox.TTLCache(0, ttl=30)) @stamina.retry(on=httpx.HTTPError, attempts=3, wait_initial=0.2) from aiobreaker import CircuitBreaker 1 2 3 4 5 6 7 async def really_fetch_data_from_b(...): 8 return await httpx_client.get("https://service-b/entity") 9 10 async def fetch_some_data_from_service_b(...): 11 ... 12 service_b_data = really_fetch_data_from_b(...) 13 service_b_data["title"] # используем где-то 14 ... 15 29 Database per service :: Синхронно + надёжно
30. И ЭТО НЕ ВСЁ 30 Database per service :: Синхронно + надёжно
31. ЕЩЁ ПРОБЛЕМЫ! Большой трафик → завалим другой сервис — Решение? 2 паттерна — rate limiter принимающий — bulkhead исходящий — 31 Database per service :: Синхронно + надёжно
32. emergency_db_breaker = CircuitBreaker(fail_max=5, reset_timeout=... 60) bulkhead_for_service_b = asyncio.Semaphore(10) @emergency_db_breaker @cachebox.cached(cachebox.TTLCache(0, ttl=30)) @stamina.retry(on=httpx.HTTPError, attempts=3, wait_initial=0.2) async with bulkhead_for_service_b: from aiobreaker import CircuitBreaker 1 2 3 4 5 6 7 8 async def really_fetch_data_from_b(...): 9 10 return await httpx_client.get("https://service-b/entity") 11 12 async def fetch_some_data_from_service_b(...): 13 ... 14 service_b_data = really_fetch_data_from_b(...) 15 service_b_data["title"] # используем где-то 16 ... 17 32 Database per service :: Синхронно + надёжно
33. 33 Database per service :: Синхронно + надёжно
34. СИНХРОННО + ПЕРЕКЛАДЫВАЕМ НА ИНФРУ 34
35. БЕРЁМ SERVICE MESH… 35 Database per service :: Синхронно + перекладываем на инфру
36. RESILIENCE retry.linkerd.io/http: 5xx retry.linkerd.io/limit: "2" retry.linkerd.io/timeout: 300ms kind: HTTPRoute 1 … 2 metadata: 3 annotations: 4 5 6 7 spec: 8 parentRefs: 9 - name: schlep 10 kind: Service 11 … 12 rules: 13 - matches: 14 - path: 15 type: PathPrefix 16 value: "/some-service/" 17 36 Database per service :: Синхронно + перекладываем на инфру
37. CIRCUIT BREAKER balancer.linkerd.io/failure-accrual: consecutive balancer.linkerd.io/failure-accrual-consecutive-max-failures: "5" balancer.linkerd.io/failure-accrual-consecutive-min-penalty: 10s balancer.linkerd.io/failure-accrual-consecutive-max-penalty: 1m balancer.linkerd.io/failure-accrual-consecutive-jitter-ratio: "0.5" kind: Service 1 metadata: 2 name: orders 3 namespace: shop 4 annotations: 5 6 7 8 9 10 spec: 11 selector: 12 app: orders 13 ports: 14 - protocol: TCP 15 … 16 37 Database per service :: Синхронно + перекладываем на инфру
38. RATE LIMITER requestsPerSecond: 100 requestsPerSecond: 20 - requestsPerSecond: 25 kind: HTTPLocalRateLimitPolicy 1 ... 2 spec: 3 targetRef: 4 group: policy.linkerd.io 5 ... 6 total: 7 8 identity: 9 10 overrides: 11 12 clientRefs: 13 - kind: ServiceAccount 14 ... 15 38 Database per service :: Синхронно + перекладываем на инфру
39. ОСТАЛОСЬ ВСЕГО НИЧЕГО! Добавить кеш + fallback — Семафор (он же bulkhead) — Ну и топ — 39 Database per service :: Синхронно + перекладываем на инфру
40. 40 Database per service :: Синхронно + перекладываем на инфру
41. КАК ОБЫЧНО МЫ ДЕЛАЕМ? 41 Database per service :: Синхронно + перекладываем на инфру
42. ПОЛУЧАЕМ ДАННЫЕ «СЕРВИСА B» АСИНХРОННО 42
43. КАКОЙ МОТИВ? Это надёжно! — Low latency — 43 Database per service :: Получаем данные «сервиса B» асинхронно
44. 44 Database per service :: Получаем данные «сервиса B» асинхронно
45. async def calculate_in_service_a(cart_items): attributes = await select_from_database_service_b_data(product_ids) for item in cart_items: buffer.append(attributes[item["id"]]["price"]) return await calculate_llm_reccomendations(buffer) 1 2 3 4 5 6 7 attributes = await select_from_database_service_b_data(product_ids) async def calculate_in_service_a(cart_items): 1 2 3 for item in cart_items: 4 buffer.append(attributes[item["id"]]["price"]) 5 6 return await calculate_llm_reccomendations(buffer) 7 45 Database per service :: Получаем данные «сервиса B» асинхронно
46. НЮАНСЫ MQ Триггерится сервис b — Ловим в сервисе а, делаем реплику — Но тут есть проблема… — 46 Database per service :: Получаем данные «сервиса B» асинхронно
47. 47 Database per service :: Получаем данные «сервиса B» асинхронно
48. 48 Database per service :: Получаем данные «сервиса B» асинхронно
49. 49 Database per service :: Получаем данные «сервиса B» асинхронно
50. МЫ ТАК ЧАСТО ДЕЛАЕМ 50 Database per service :: Получаем данные «сервиса B» асинхронно
51. АСИНХРОННО + ПЕРЕКЛАДЫВАЕМ НА ИНФРУ 51
52. ИТАК, ПРЕДСТАВИМ 52 Database per service :: Асинхронно + перекладываем на инфру
53. 53 Database per service :: Асинхронно + перекладываем на инфру
54. МАГИЯ: CDC 54 Database per service :: Асинхронно + перекладываем на инфру
55. 55 Database per service :: Асинхронно + перекладываем на инфру
56. 56 Database per service :: Асинхронно + перекладываем на инфру
57. КОДА НЕТ! 57 Database per service :: Асинхронно + перекладываем на инфру
58. CQRS 58
59. 59 CQRS
60. 60 CQRS
61. УРА, И ТУТ КОДА НЕТ! 61 CQRS
62. TRANSACTIONAL OUTBOX 62
63. 63 Transactional Outbox
64. ПРОБЛЕМА ТРАНЗАКЦИОННОСТИ В EDA 64 Transactional Outbox
65. 65 Transactional Outbox
66. 66 Transactional Outbox
67. ПРИХОДИТСЯ ПИСАТЬ РУКАМИ 67 Transactional Outbox
68. 68 Transactional Outbox
69. 69 Transactional Outbox
70. AUTH 70
71. 71 Auth
72. АВТОРИЗАЦИЯ И АУТЕНТИФИКАЦИЯ Аутентификация — логопас — ← штука не уникальная Авторизация — проверка токена — ← у всех своя 72 Auth
73. 73 Auth
74. МЕЖСЕРВИСНАЯ АУТЕНТИФИКАЦИЯ linkerd.io/inject: enabled config.linkerd.io/default-inbound-policy: all-authenticated apiVersion: v1 1 kind: Namespace 2 metadata: 3 name: demo 4 annotations: 5 6 7 74 Auth
75. 75 Auth
76. СПАСИБО ЗА ВНИМАНИЕ! 76