Ильяс Нежибицкий — Warden — зачем нам свой service mesh?

Transcript

1. Warden – зачем нам свой Service Mesh? Ильяс Нежибицкий
 Старший разработчик в отделе Service Mesh
2. Краткая предыстория Ozon Tech 2 ~ 4 000 микросервисов > 70 000 подов 3 ЦОДа > 6 100 серверов Go, C# — основные языки программирования Через gRPC — большая часть микросервисного взаимодействия Warden — собственное решение для Service Mesh
3. О чем пойдет речь 3 • Обсудим механизмы реализации Service Mesh • Рассмотрим процесс создания собственного Service Mesh • Обсудим функционал Service Mesh, реализованного в Ozon
4. Механизмы реализации Service Mesh 1 4
5. Механизмы реализации межсервисного взаимодействия 5 Динозавры
6. Механизмы реализации межсервисного взаимодействия 6 Динозавры Монолит До Cloud-Native
7. Монолит Механизмы реализации межсервисного взаимодействия 7 Service 1
8. Механизмы реализации межсервисного взаимодействия 8 Динозавры Монолит Монолит из нескольких частей До Cloud-Native
9. Статические адреса Механизмы реализации межсервисного взаимодействия 9 Service 1 Service 2 Service 2 Service 2 IP’s 192.168.0.45 10.0.4.54 54.67.112.45 … Load Balancer
10. Механизмы реализации межсервисного взаимодействия 10 Динозавры Монолит Монолит из нескольких частей Cloud-Native решения До Cloud-Native
11. Механизмы реализации межсервисного взаимодействия 11 Динозавры Монолит Монолит из нескольких частей Reverse proxy Cloud-Native решения До Cloud-Native
12. Proxy в виде nginx Механизмы реализации межсервисного взаимодействия 12 Service 2 Service 2 Service 2 Service 1 Service 1 Service 1 Механизмы балансировки
 Поиск upstreams
 Retry policy
 Ejections
13. Механизмы реализации межсервисного взаимодействия 13 Динозавры Монолит Монолит из нескольких частей Reverse proxy Sidecar per pod Cloud-Native решения До Cloud-Native
14. Sidecar proxy Механизмы реализации межсервисного взаимодействия 14 Service 2 Service 2 Service 2 Механизмы балансировки
 Поиск upstreams
 Retry policy
 Ejections Service 1
15. Механизмы реализации межсервисного взаимодействия 15 Динозавры Монолит Монолит из нескольких частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения До Cloud-Native
16. Per Node Proxy Механизмы реализации межсервисного взаимодействия 16 Service 2 Node Service 3 Service 1 Service 4 Node Service 6 Service 5 Механизмы балансировки
 Поиск upstreams
 Retry policy
 Ejections
17. Механизмы реализации межсервисного взаимодействия 17 Динозавры Монолит Монолит из нескольких частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения До Cloud-Native
18. Механизмы реализации межсервисного взаимодействия 18 Динозавры Монолит Монолит из нескольких частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения Client-side До Cloud-Native
19. Data-plane, встроенный в клиента 19 Механизмы реализации межсервисного взаимодействия Service 1 Service 2 Service 2 Service 2 ServiceMesh client library Control plane Механизмы балансировки
 Поиск upstreams
 Retry policy
 PaaS Resource Managers API • Снижение потребления ресурсов (практически ничего не стоит) • Усложнение клиентского приложения • Нет возможности быстрого добавления новых discovery- и balancing-политик Результат НО!
20. Разработка собственного Service Mesh 2 20
21. Ходим из клиента напрямую в источник данных 21 Service 1 Service 2 Service 2 Service 2 Clientside balancer
22. Ходим из клиента напрямую в источник данных 22 Service 1 Service 2 Service 2 Service 2 Clientside balancer
23. Ходим из клиента напрямую в источник данных 23 Service 1 Service 2 Service 2 Service 2 Clientside balancer K8s API не резиновый(
24. Реализуем control-plane 24 Service 1 Service 2 Service 2 Service 2 Clientside balancer Service mesh v1 Warden Server
25. Service 2 Service 2 Service 2 Service 2 Service 2 Service 2 Реализуем control-plane 25 Service 1 Service 2 Service 2 Service 2 Clientside balancer Service mesh v1 Warden Server Service 1 Clientside balancer
26. Алгоритмы балансировки 3 26
27. Алгоритмы балансировки 27 gRPC default load balancing algorithm — round robin
28. Алгоритмы балансировки 28 • Weight round robin • Consistent Hash • Least Connected Возможные решения: gRPC default load balancing algorithm — round robin
29. Алгоритмы балансировки 29 Реализуем все! • Weight round robin • Consistent Hash • Least Connected Возможные решения: gRPC default load balancing algorithm — round robin
30. Алгоритмы балансировки 30 gRPC default load balancing algorithm — round robin Реализуем все! Service 1 Service 1 Service 2 Service 2 Service 1 Service 2 • Weight round robin • Consistent Hash • Least Connected Возможные решения: Balancer Достоверные сведения о загруженности Service 2
31. Алгоритмы балансировки 31 gRPC default load balancing algorithm — round robin Реализуем все! Выбранный алгоритм сложим в ответ от control-plane Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 Warden Server Сведения о загруженности Service 2 только по собственным запросам • Weight round robin • Consistent Hash • Least Connected Возможные решения:
32. Power of two choices 32 Service2 Service2 Service2 Выбирается 2 рандомных бэкенда из общего списка и делается выбор между ними
 
 Подробнее тут и тут Service2 Service2 Service 1 Clientside balancer ?
33. Power of two choices 33 Service2 Service2 Service2 Выбирается 2 рандомных бэкенда из общего списка и делается выбор между ними
 
 Подробнее тут и тут Service2 Service2 Service 1 Clientside balancer ?
34. Power of two choices 34 Service2 Service2 Service2 Выбирается 2 рандомных бэкенда из общего списка и делается выбор между ними
 
 Подробнее тут и тут Service2 Service2 CurrentLoad: 10 CurrentLoad: 7 Service 1 Clientside balancer ?
35. Power of two choices 35 Service2 Service2 Service2 Выбирается 2 рандомных бэкенда из общего списка и делается выбор между ними
 
 Подробнее тут и тут Service2 Service2 CurrentLoad: 10 CurrentLoad: 8 Service 1 Clientside balancer
36. Согласованный LeastConn и peakEWMA 36 Согласованный LeastConn В ответе на каждый запрос получаем дополнительный заголовок, в котором содержатся сведения о текущем количестве запросов на поде PeakEWMA Рассчитываем скользящее среднее времени длительности запросов и, исходя из этого, выбираем бэкенд, на который вышлем нагрузку Подробнее тут
 Issue на реализацию в envoy тут
37. Согласованный leastConn Проверим влияние 37
38. Согласованный leastConn Проверим влияние 38
39. Согласованный leastConn Проверим влияние 39
40. Peak EWMA Проверим влияние 40
41. Peak EWMA Проверим влияние 41 q50 Было: 36 Стало: 23 q75 Было: 53 Стало: 37 q90 Было: 63 Стало: 51 q98 Было: 68 Стало: 62
42. Peak EWMA Проверим влияние 42
43. Canary deployment 4 43
44. Canary deployment и несколько параллельных release’ов 44 Service 1 Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 90% 10%
45. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% 45
46. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% Ответ без канарейки Ответ с канарейкой 10% Ответ с канарейкой 50%
47. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% Очевидные проблемы: 1. Процент зависит от количества бэкендов (должно быть кратно) 2. Нельзя реализовать поход на конкретную версию Ответ без канарейки Ответ с канарейкой 10% Ответ с канарейкой 50%
48. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 2 решение: выбирать релиз на клиенте 90% 10% Ответ от сервера: + информация о том, что на R1 отправляем 90% запросов, а на R2 — 10%
49. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 0% canary Req + header:
 service_versions: service2 — release2
50. Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 0% canary Req + header:
 service_versions: service2 — release2 Resp from 
 service2 — release2
51. Subsetting 5 51
52. Решаемая проблема 52 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2
53. 53 S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
54. 54 S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
55. Проблема: 1. Большое количество TCP-соединений 2. Балансировщики не могут набрать статистику для корректной работы (leastConn, peakEWMA) S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
56. 56 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1
57. 57 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1
58. 58 Service1 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2
59. Service1 Service1 59 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1
60. Service1 60 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 Service1
61. 61 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 Service1 Service1 Service1
62. 62 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1
63. 63 S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
64. 64 S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
65. Результат: 
 Сэкономили более 60% соединений 
 Набрали нужное количество запросов для балансировщиков S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S
66. Балансировка и discovery ресурсов 6 66
67. Добавление иных источников данных 67 Service2 Service1 Clientside balancer Service2 Service2 Warden Server
68. Добавление иных источников данных 68 Service2 Service1 Clientside balancer Warden Server Postgres Manager Redis Manager Kafka Manager Clickhouse Manager MSSQL Manager
69. Добавление иных источников данных 69 Service2 Service1 Clientside balancer Warden Server Postgres Manager Redis Manager Kafka Manager ClickHouse Manager MSSQL Manager Postgres Kafka bus
70. Появление нескольких дата-центров 7 70
71. MultiDC 71 DC 1 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2
72. MultiDC DC 1 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 2 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 3 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2
73. Локализация трафика DC 1 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 2 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 3 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2
74. Результаты локализации 74
75. DC 1 Дополнительное резервирование системы 75 Service1 Clientside balancer Warden Server Req Resp: Endpoints in DC1 Service2 Service2 Service2 Mode Auto
76. DC 1 Дополнительное резервирование системы 76 Service1 Clientside balancer Warden Server Req Resp: Endpoints in DC1 Service2 Service2 Service2 Mode Auto
77. DC 1 Дополнительное резервирование системы 77 Service1 Clientside balancer Warden Server Req Resp: Endpoints in DC2 + DC3 Service2 Service2 Service2 DC 3 Service2 Service2 Service2 DC 2 Service2 Service2 Service2 Mode Auto
78. DC 1 Дополнительное резервирование системы 78 Service1 Clientside balancer Warden Server Req Resp: Endpoints in DC1 Endpoints in DC2, DC3 … Service2 Service2 Service2 DC 3 Service2 Service2 Service2 DC 2 Service2 Service2 Service2 Mode DC_Priority
79. Mode DC_Priority 79 Service2 Service2 Service2 Service2 Service2 Service2 Local DC Remote DC Service1 Service1 Service 1
80. Service2 Service2 Service2 Service2 Service2 Service2 80 Service1 Service1 Service 1 Local DC Remote DC Mode DC_Priority
81. Service2 Service2 Service2 Service2 Service2 Service2 81 Service1 Service1 Service 1 Local DC Remote DC Mode DC_Priority
82. Service2 Service2 Service2 Service2 Service2 Service2 82 Service1 Service1 Service 1 Remote DC Mode DC_Priority Local DC
83. 83 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2 Service2 Local DC Remote DC Mode DC_Priority
84. 84 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2 Service2 Local DC Remote DC Mode DC_Priority
85. 85 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2 Service2 Remote DC Mode DC_Priority Local DC
86. Future Plans 8 86
87. Future Plans: Federation Architecture 87
88. Future Plans: Federation Architecture DC 3 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S-Common DC1 DC2 DC3
89. Future Plans: Federation Architecture DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC1 DC1 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC3 DC3 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC2 DC2
90. 90 Istio Mesh Cluster: West-1 Service A Service B Control Plane Service A Service B Control Plane Cluster: East-1 Service A Service B Cluster: West-2 Service B Service A Cluster: East-2 Istio mesh federation Data-plane могут ходить в control-plane в других кластерах
91. Istio mesh federation 91 Service B Service A Istiod Istiod API Server API Server Istio Mesh Cluster: West Cluster: East Con fi g/ Endpoints Endpoints Con fi g/ Endpoints Discovery осуществляется за счет походов в API других кластеров
92. Warden mesh federation DC 1 S1 S2 S3 Warden Server K8s
 api K8S-DC1 DC 2 S1 S2 S3 Warden Server K8s
 api K8S-DC2 DC 3 S1 S2 S3 Warden Server K8s
 api K8S-DC3 Собственные data- plane в каждом кластере
93. Warden mesh federation DC 1 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC3 Общение с K8s API через прокси
94. Warden mesh federation DC 1 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer K8s
 api K8S-DC3 Межкластерный discovery через прокси
95. Warden mesh federation DC 1 S1 S2 S3 Warden Server Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s
 api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s
 api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s
 api K8S-DC3 Discovery ресурсов также через прокси
96. Выводы 8 96
97. Выводы 97 • Улучшили RT за счет современных алгоритмов балансировки (Peak EWMA) • Реализовали subsetting для экономии соединений • Локализовали большую часть трафика в дата-центрах • Добавили нулевую канарейку для тестирования • Кастомизировали решение под OzonTech
98. Список литературы 98 • Power of two choices • NGINX and the “Power of Two Choices” • The Power of Two Random Choices • The Power of Two Choices in Randomized Load Balancing • Алгоритмы балансировки • Load Balancing for latency • Issue на разработку в envoy • Subsetting • Статья от Google: Load Balancing in the Datacenter • Federation architecture • Istio Deployment Models
99. Спасибо за внимание Ильяс Нежибицкий
 Старший разработчик в отделе Service Mesh