Share
Embed
Transcript
99 slides
-
Warden – зачем нам свой Service Mesh? Ильяс Нежибицкий Старший
разработчик в отделе Service Mesh -
Краткая предыстория Ozon Tech 2 ~ 4 000 микросервисов >
70 000 подов 3 ЦОДа > 6 100 серверов Go, C# — основные языки программирования Через gRPC — большая часть микросервисного взаимодействия Warden — собственное решение для Service Mesh -
О чем пойдет речь 3 • Обсудим механизмы реализации Service
Mesh • Рассмотрим процесс создания собственного Service Mesh • Обсудим функционал Service Mesh, реализованного в Ozon -
Механизмы реализации межсервисного взаимодействия 8 Динозавры Монолит Монолит из нескольких
частей До Cloud-Native -
Статические адреса Механизмы реализации межсервисного взаимодействия 9 Service 1 Service
2 Service 2 Service 2 IP’s 192.168.0.45 10.0.4.54 54.67.112.45 … Load Balancer -
Механизмы реализации межсервисного взаимодействия 10 Динозавры Монолит Монолит из нескольких
частей Cloud-Native решения До Cloud-Native -
Механизмы реализации межсервисного взаимодействия 11 Динозавры Монолит Монолит из нескольких
частей Reverse proxy Cloud-Native решения До Cloud-Native -
Proxy в виде nginx Механизмы реализации межсервисного взаимодействия 12 Service
2 Service 2 Service 2 Service 1 Service 1 Service 1 Механизмы балансировки Поиск upstreams Retry policy Ejections -
Механизмы реализации межсервисного взаимодействия 13 Динозавры Монолит Монолит из нескольких
частей Reverse proxy Sidecar per pod Cloud-Native решения До Cloud-Native -
Sidecar proxy Механизмы реализации межсервисного взаимодействия 14 Service 2 Service
2 Service 2 Механизмы балансировки Поиск upstreams Retry policy Ejections Service 1 -
Механизмы реализации межсервисного взаимодействия 15 Динозавры Монолит Монолит из нескольких
частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения До Cloud-Native -
Per Node Proxy Механизмы реализации межсервисного взаимодействия 16 Service 2
Node Service 3 Service 1 Service 4 Node Service 6 Service 5 Механизмы балансировки Поиск upstreams Retry policy Ejections -
Механизмы реализации межсервисного взаимодействия 17 Динозавры Монолит Монолит из нескольких
частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения До Cloud-Native -
Механизмы реализации межсервисного взаимодействия 18 Динозавры Монолит Монолит из нескольких
частей Reverse proxy Sidecar per pod Sidecar per node Cloud-Native решения Client-side До Cloud-Native -
Data-plane, встроенный в клиента 19 Механизмы реализации межсервисного взаимодействия Service
1 Service 2 Service 2 Service 2 ServiceMesh client library Control plane Механизмы балансировки Поиск upstreams Retry policy PaaS Resource Managers API • Снижение потребления ресурсов (практически ничего не стоит) • Усложнение клиентского приложения • Нет возможности быстрого добавления новых discovery- и balancing-политик Результат НО! -
Ходим из клиента напрямую в источник данных 21 Service 1
Service 2 Service 2 Service 2 Clientside balancer -
Ходим из клиента напрямую в источник данных 22 Service 1
Service 2 Service 2 Service 2 Clientside balancer -
Ходим из клиента напрямую в источник данных 23 Service 1
Service 2 Service 2 Service 2 Clientside balancer K8s API не резиновый( -
Реализуем control-plane 24 Service 1 Service 2 Service 2 Service
2 Clientside balancer Service mesh v1 Warden Server -
Service 2 Service 2 Service 2 Service 2 Service 2
Service 2 Реализуем control-plane 25 Service 1 Service 2 Service 2 Service 2 Clientside balancer Service mesh v1 Warden Server Service 1 Clientside balancer -
Алгоритмы балансировки 28 • Weight round robin • Consistent Hash
• Least Connected Возможные решения: gRPC default load balancing algorithm — round robin -
Алгоритмы балансировки 29 Реализуем все! • Weight round robin •
Consistent Hash • Least Connected Возможные решения: gRPC default load balancing algorithm — round robin -
Алгоритмы балансировки 30 gRPC default load balancing algorithm — round
robin Реализуем все! Service 1 Service 1 Service 2 Service 2 Service 1 Service 2 • Weight round robin • Consistent Hash • Least Connected Возможные решения: Balancer Достоверные сведения о загруженности Service 2 -
Алгоритмы балансировки 31 gRPC default load balancing algorithm — round
robin Реализуем все! Выбранный алгоритм сложим в ответ от control-plane Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 Warden Server Сведения о загруженности Service 2 только по собственным запросам • Weight round robin • Consistent Hash • Least Connected Возможные решения: -
Power of two choices 32 Service2 Service2 Service2 Выбирается 2
рандомных бэкенда из общего списка и делается выбор между ними Подробнее тут и тут Service2 Service2 Service 1 Clientside balancer ? -
Power of two choices 33 Service2 Service2 Service2 Выбирается 2
рандомных бэкенда из общего списка и делается выбор между ними Подробнее тут и тут Service2 Service2 Service 1 Clientside balancer ? -
Power of two choices 34 Service2 Service2 Service2 Выбирается 2
рандомных бэкенда из общего списка и делается выбор между ними Подробнее тут и тут Service2 Service2 CurrentLoad: 10 CurrentLoad: 7 Service 1 Clientside balancer ? -
Power of two choices 35 Service2 Service2 Service2 Выбирается 2
рандомных бэкенда из общего списка и делается выбор между ними Подробнее тут и тут Service2 Service2 CurrentLoad: 10 CurrentLoad: 8 Service 1 Clientside balancer -
Согласованный LeastConn и peakEWMA 36 Согласованный LeastConn В ответе на
каждый запрос получаем дополнительный заголовок, в котором содержатся сведения о текущем количестве запросов на поде PeakEWMA Рассчитываем скользящее среднее времени длительности запросов и, исходя из этого, выбираем бэкенд, на который вышлем нагрузку Подробнее тут Issue на реализацию в envoy тут -
Peak EWMA Проверим влияние 41 q50 Было: 36 Стало: 23
q75 Было: 53 Стало: 37 q90 Было: 63 Стало: 51 q98 Было: 68 Стало: 62 -
Canary deployment и несколько параллельных release’ов 44 Service 1 Service
2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 90% 10% -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% 45 -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% Ответ без канарейки Ответ с канарейкой 10% Ответ с канарейкой 50% -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server 1 решение: изменять ответ от серверной части 90% 10% Очевидные проблемы: 1. Процент зависит от количества бэкендов (должно быть кратно) 2. Нельзя реализовать поход на конкретную версию Ответ без канарейки Ответ с канарейкой 10% Ответ с канарейкой 50% -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 2 решение: выбирать релиз на клиенте 90% 10% Ответ от сервера: + информация о том, что на R1 отправляем 90% запросов, а на R2 — 10% -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 0% canary Req + header: service_versions: service2 — release2 -
Canary deployment и несколько параллельных release’ов Service 1 Clientside balancer
Service 2 Service 2 Service 2. Release 1 Service 2 Service 2 Service 2. Release 2 Warden Server R1 R1 R1 R1 R1 R1 R1 R1 R1 R1 R2 R2 R2 R2 R2 R2 R2 R2 R2 R2 0% canary Req + header: service_versions: service2 — release2 Resp from service2 — release2 -
Решаемая проблема 52 Service 1 Clientside balancer Service 1 Clientside
balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 -
53 S S S S S S S S S
S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
54 S S S S S S S S S
S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
Проблема: 1. Большое количество TCP-соединений 2. Балансировщики не могут набрать
статистику для корректной работы (leastConn, peakEWMA) S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
56 S2 S2 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 -
57 S2 S2 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 -
58 Service1 Service1 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 -
Service1 Service1 59 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 -
Service1 60 S2 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 Service1 -
61 S2 S2 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 Service1 Service1 Service1 -
62 S2 S2 S2 S2 S2 S2 S2 S2 S2
S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 S2 Service1 -
63 S S S S S S S S S
S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
64 S S S S S S S S S
S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
Результат: Сэкономили более 60% соединений Набрали нужное количество
запросов для балансировщиков S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S S -
Добавление иных источников данных 67 Service2 Service1 Clientside balancer Service2
Service2 Warden Server -
Добавление иных источников данных 68 Service2 Service1 Clientside balancer Warden
Server Postgres Manager Redis Manager Kafka Manager Clickhouse Manager MSSQL Manager -
Добавление иных источников данных 69 Service2 Service1 Clientside balancer Warden
Server Postgres Manager Redis Manager Kafka Manager ClickHouse Manager MSSQL Manager Postgres Kafka bus -
MultiDC 71 DC 1 Service 1 Clientside balancer Service 1
Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 -
MultiDC DC 1 Service 1 Clientside balancer Service 1 Clientside
balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 2 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 3 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 -
Локализация трафика DC 1 Service 1 Clientside balancer Service 1
Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 2 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 DC 3 Service 1 Clientside balancer Service 1 Clientside balancer Service 2 Service 2 Service 1 Clientside balancer Service 2 -
DC 1 Дополнительное резервирование системы 75 Service1 Clientside balancer Warden
Server Req Resp: Endpoints in DC1 Service2 Service2 Service2 Mode Auto -
DC 1 Дополнительное резервирование системы 76 Service1 Clientside balancer Warden
Server Req Resp: Endpoints in DC1 Service2 Service2 Service2 Mode Auto -
DC 1 Дополнительное резервирование системы 77 Service1 Clientside balancer Warden
Server Req Resp: Endpoints in DC2 + DC3 Service2 Service2 Service2 DC 3 Service2 Service2 Service2 DC 2 Service2 Service2 Service2 Mode Auto -
DC 1 Дополнительное резервирование системы 78 Service1 Clientside balancer Warden
Server Req Resp: Endpoints in DC1 Endpoints in DC2, DC3 … Service2 Service2 Service2 DC 3 Service2 Service2 Service2 DC 2 Service2 Service2 Service2 Mode DC_Priority -
Mode DC_Priority 79 Service2 Service2 Service2 Service2 Service2 Service2 Local
DC Remote DC Service1 Service1 Service 1 -
Service2 Service2 Service2 Service2 Service2 Service2 80 Service1 Service1 Service
1 Local DC Remote DC Mode DC_Priority -
Service2 Service2 Service2 Service2 Service2 Service2 81 Service1 Service1 Service
1 Local DC Remote DC Mode DC_Priority -
Service2 Service2 Service2 Service2 Service2 Service2 82 Service1 Service1 Service
1 Remote DC Mode DC_Priority Local DC -
83 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2
Service2 Local DC Remote DC Mode DC_Priority -
84 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2
Service2 Local DC Remote DC Mode DC_Priority -
85 Service1 Service1 Service 1 Service2 Service2 Service2 Service2 Service2
Service2 Remote DC Mode DC_Priority Local DC -
Future Plans: Federation Architecture DC 3 S1 Clientside balancer S1
Clientside balancer S2 S2 S1 Clientside balancer S2 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S-Common DC1 DC2 DC3 -
Future Plans: Federation Architecture DC 1 S1 Clientside balancer S1
Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC1 DC1 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC3 DC3 DC 1 S1 Clientside balancer S1 Clientside balancer S2 S2 S1 Clientside balancer S2 K8S- DC2 DC2 -
90 Istio Mesh Cluster: West-1 Service A Service B Control
Plane Service A Service B Control Plane Cluster: East-1 Service A Service B Cluster: West-2 Service B Service A Cluster: East-2 Istio mesh federation Data-plane могут ходить в control-plane в других кластерах -
Istio mesh federation 91 Service B Service A Istiod Istiod
API Server API Server Istio Mesh Cluster: West Cluster: East Con fi g/ Endpoints Endpoints Con fi g/ Endpoints Discovery осуществляется за счет походов в API других кластеров -
Warden mesh federation DC 1 S1 S2 S3 Warden Server
K8s api K8S-DC1 DC 2 S1 S2 S3 Warden Server K8s api K8S-DC2 DC 3 S1 S2 S3 Warden Server K8s api K8S-DC3 Собственные data- plane в каждом кластере -
Warden mesh federation DC 1 S1 S2 S3 Warden Server
Warden Informer K8s api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer K8s api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer K8s api K8S-DC3 Общение с K8s API через прокси -
Warden mesh federation DC 1 S1 S2 S3 Warden Server
Warden Informer K8s api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer K8s api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer K8s api K8S-DC3 Межкластерный discovery через прокси -
Warden mesh federation DC 1 S1 S2 S3 Warden Server
Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s api K8S-DC1 DC 2 S1 S2 S3 Warden Server Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s api K8S-DC2 DC 3 S1 S2 S3 Warden Server Warden Informer PaaS Resource Managers API PaaS Resource Managers API K8s api K8S-DC3 Discovery ресурсов также через прокси -
Выводы 97 • Улучшили RT за счет современных алгоритмов балансировки
(Peak EWMA) • Реализовали subsetting для экономии соединений • Локализовали большую часть трафика в дата-центрах • Добавили нулевую канарейку для тестирования • Кастомизировали решение под OzonTech -
Список литературы 98 • Power of two choices • NGINX
and the “Power of Two Choices” • The Power of Two Random Choices • The Power of Two Choices in Randomized Load Balancing • Алгоритмы балансировки • Load Balancing for latency • Issue на разработку в envoy • Subsetting • Статья от Google: Load Balancing in the Datacenter • Federation architecture • Istio Deployment Models