CodeFest 2019. Сергей Еланцев (Яндекс) — Балансировщик нагрузки. Опыт разработки Яндекс.Облака

Мы рассмотрим архитектуру сетевого балансировщика нагрузки Яндекс.Облака. Разберём абсолютно все компоненты стека балансировщика, узнаем про высокоуровненвые компоненты, реализующие API сервиса. Заглянем в control plane балансера и рассмотрим поток сообщений внутри микросервисной архитектуры. Погрузимся в глубины data plane и узнаем, как обеспечить космическую пропускную способность и бесконечное горизонтальное масштабирование. Узнаем, как устроены healthcheck сервисы и динамическое изменение состава бэкэндов баланировщика. Обсудим уроки, полученные при разработке балансировщика, и поделимся планами на будущее.

Transcript

2. Балансировщик нагрузки. Опыт разработки Яндекс.Облака Сергей Еланцев, ведущий разработчик
3. Задачи Баласнировщика 63 Балансировка нагрузки Увеличение отказоустойчивости Масштабирование
4. Data Plane 64 Border Router Балансер Балансер Балансер Real Real Real
5. Control Plane, API 65 API Gateway Task Task Task Task Worker LoadBalancer Controller
6. Loadbalancer Controller 66 Loadbalancer Controller Healthcheck Controller Loadbalancer Node YDB
7. Healthcheck Controller 67 Healthcheck Controller Healthcheck Node YDB
8. Healthcheck Node 68 Шардирование для масштабирования и отказоустойчивости
 › TCP Check › HTTP Check
9. Healthcheck traffic 69 Клиент Real Healtcheck Loadbalancer Real Real
10. Адресация Healthcheck 610 Шаг Source IP Destination IP Healthcheck->Balancer fc::<h-id>:198.16.0.1 fc::<c-id>:10.0.0.1 Balancer->Real 198.16.0.1 10.0.0.1 Real->Balancer 10.0.0.1 198.16.0.1 Balancer->Healthcheck fc::<c-id>:10.0.0.1 fc::<h-id>:198.16.0.1
11. VPP 611 Сердце нашего Data plane Vpp - Vector Packet Processing
 › DPDK › Batch Processing › CPU Affinity › Immutable/Thread-local mutable › CPU cache
12. Типичный цикл vpp 612 n_left_from = frame->n_vectors; while (n_left_from > 0) { vlib_get_next_frame (vm, node, next_index, to_next, n_left_to_next); while (n_left_from >= 4 && n_left_to_next >= 2) { u32 next0 = SAMPLE_NEXT_INTERFACE_OUTPUT; u32 next1 = SAMPLE_NEXT_INTERFACE_OUTPUT; /* Prefetch next iteration. */ { p2 = vlib_get_buffer (vm, from[2]); p3 = vlib_get_buffer (vm, from[3]); vlib_prefetch_buffer_header (p2, LOAD); vlib_prefetch_buffer_header (p3, LOAD); CLIB_PREFETCH (p2->data, CLIB_CACHE_LINE_BYTES, STORE); CLIB_PREFETCH (p3->data, CLIB_CACHE_LINE_BYTES, STORE); }
13. Healtcheck traffic in VPP 613 IP6 Input AlgoNAT 64 IP4 Lookup
14. Client traffic in VPP 614 IP4 Input Sticky Sessions YC-NAT IP4 Lookup Maglev Hash
15. Balancer to Client 615 IP4 Input AlgoNAT 44 IP4 Lookup
16. Компоненты в сборе 616 API LB-Ctrl VPP HC-Ctrl HC-Node LB-Node
17. Что сработало хорошо 617 Масштабируемая и отказоустойчивая архитектура
 › Control plane на Go › Хорошая масштабируемость › Удобно писать › Много open source › Отличная производительность VPP
18. Что сработало плохо 618 › Утечки памяти в Go › Функциональные тесты на Go › Отсутствие tracing
19. Планы на будущее 619 › Шардировать ещё больше! › Добавить новых healthcheck › Поменять логику агрегации healthcheck › Развязать сервисы через message queue
20. Спасибо Сергей Еланцев Ведущий разработчик elantsev@yandex-team.ru @serejkus