Kubernetes: основные точки отказа и способы повышения надежности платформы

Виртуальные среды и контейнеры все больше и больше проникают в Enterprise, и если раньше они были востребованы лишь в dev-среде, то сейчас уже многие компании запускают свои продукты и приложения в виде docker-контейнеров и в Production. Но можно ли доверить критические сервисы такой новой и на первый взгляд нестабильной и сложной платформе как Kubernetes?

В основе доклада лежит опыт инфраструктурной команды, обслуживающей кластер Kubernetes, в котором регулярно создаются и удаляются сотни различных наборов сервисов, ежедневно работают десятки продуктовых команд и все обеспечивается за счет тонкой настройки open-source решений.

Спикер: Руслан Гайнанов, тимлид DevOps-команды в ИТ-Холдинге Т1

Смотреть полностью:
https://youtu.be/O32cW69iKSw

Transcript

1. KUBERNETES: ОСНОВНЫЕ ТОЧКИ ОТКАЗА Или способы повышения надежности платформы Руководитель команды разработки, Группа «Иннотех» Руслан Гайнанов 30.11.2022
2. РУСЛАН ГАЙНАНОВ Руководитель команды разработки Управления технологических решений, Группа «Иннотех» Telegram: @gainanovrus Стек: Kubernetes (CKA/CKAD), Python, GitLab CI/CD Достижения: обеспечил оперативный запуск сервисов для диагностики заболеваний с использованием решений на базе алгоритмов ИИ во время пандемии COVID-19 в 43 регионах России Хобби: хожу в походы, хочу посетить Алтай следующим летом, мечтаю объехать Крым на велосипеде и подняться на Эльбрус
3. ТЕХНОЛОГИЧЕСКАЯ ПЛАТФОРМА Business applications INFRASTRUCTURE VPS, BM, NAS, etc SYSTEM SOFTWARE Event Streaming, IMDB, DB, DCS, etc SYSTEM SOFTWARE ТЕХНОЛОГИЧЕСКАЯ ПЛАТФОРМА Event Streaming DB Business applications IMDB DCS K8S SECURITY NOTIFICATION CENTRE APPL SERVICES DOCUMENT CENTRE AUTHENTICATION & AUTHORIZATION SECURITY BUSINESS PROCESS CENTER MDM API PLATFORM OBSERVABILITY KUBERNETES
4. ЦЕЛЬ ПРОБЛЕМА ЦЕЛЬ ПРОБЛЕМА Рассказать про сценарии применения платформы Kubernetes для ваших микросервисов Нет доверия к новой технологии и нет желания отказываться от старых подходов по управлению сервисами
5. ЦЕЛЬ ПРОБЛЕМА ЦЕЛЬ ПРОБЛЕМА Передать наш опыт построения надежной инфраструктуры на базе Kubernetes, и описать проблемы, с которыми мы столкнулись
6. ПРИНОСИМ СВОИ ИЗВИНЕНИЯ… 6
7. ПРИНОСИМ СВОИ ИЗВИНЕНИЯ… 7
8. ПРИНОСИМ СВОИ ИЗВИНЕНИЯ… 8
9. ПРИНОСИМ СВОИ ИЗВИНЕНИЯ… 9
10. «ЧТО В ИМЕНИ ТЕБЕ МОЕМ?» Или что есть Kubernetes
11. ПЛАТФОРМА KUBERNETES 11 Это расширяемая платформа с открытым исходным кодом для управления контейнеризованными рабочими нагрузками и сервисами
12. АНАЛИЗ РЫНКА 12
13. АНАЛИЗ РЫНКА 13 Kubernetes and cloud native operations report 2022 (с) Cannonical
14. КАК ИСПОЛЬЗОВАТЬ Руководство по оркестрации контейнерами
15. АРХИТЕКТУРА ПЛАТФОРМЫ 15
16. АРХИТЕКТУРА ПЛАТФОРМЫ 16
17. АРХИТЕКТУРА ПЛАТФОРМЫ 17
18. АРХИТЕКТУРА ПЛАТФОРМЫ 18
19. АРХИТЕКТУРА ПЛАТФОРМЫ 19
20. АРХИТЕКТУРА ПЛАТФОРМЫ 20
21. АРХИТЕКТУРА ПЛАТФОРМЫ 21
22. АРХИТЕКТУРА ПЛАТФОРМЫ 22
23. АРХИТЕКТУРА ПЛАТФОРМЫ 23 replicas = 2
24. АРХИТЕКТУРА ПЛАТФОРМЫ 24
25. АРХИТЕКТУРА ПЛАТФОРМЫ 25
26. АРХИТЕКТУРА ПЛАТФОРМЫ 26 Round-robin DNS
27. АРХИТЕКТУРА ПЛАТФОРМЫ 27
28. АРХИТЕКТУРА ПЛАТФОРМЫ 28
29. АРХИТЕКТУРА ПЛАТФОРМЫ 29
30. АРХИТЕКТУРА ПЛАТФОРМЫ 30
31. АРХИТЕКТУРА ПЛАТФОРМЫ 31
32. АРХИТЕКТУРА ПЛАТФОРМЫ 32
33. АРХИТЕКТУРА ПЛАТФОРМЫ 33 keepalived
34. АРХИТЕКТУРА ПЛАТФОРМЫ 34
35. АРХИТЕКТУРА ПЛАТФОРМЫ 35 Несколько K8s кластеров в независимых ЦОД
36. КАКИЕ ПРЕИМУЩЕСТВА ЭТО ДАЕТ 36 Декларативное описание сервисов В формате YAML описываем желаемое состояние Обновления без downtime За счет проверок Readiness/Liveness сервисы обновляются незаметно для клиента (Rollout стратегия) Автоматический перезапуск сервисов В случае сбоев поды мигрируют на другой узел Балансировка и готовность к масштабированию Балансировка на 3 уровнях: DNS+Ingress, несколько реплик приложений и несколько реплик мастеров
37. КОГДА ОРКЕСТРАЦИЯ НЕ НУЖНА 37
38. КОГДА ОРКЕСТРАЦИЯ НЕ НУЖНА 38 Небольшое количество сервисов/хостов Не требуется масштабирование Разрешен вынужденный простой работы Не требуется доп. функционал
39. КОГДА ОРКЕСТРАЦИЯ НЕ НУЖНА 39 Небольшое количество сервисов/хостов Не требуется масштабирование Разрешен вынужденный простой работы Не требуется доп. функционал
40. СЛУЧАИ ИЗ НАШЕЙ ПРАКТИКИ
41. СЛУЧАИ ИЗ НАШЕЙ ПРАКТИКИ Или грабли, на которые все наступают
42. СЛУЧАИ ИЗ НАШЕЙ ПРАКТИКИ
43. ВНУТРЕННЕЕ УСТРОЙСТВО KUBERNETES 43
44. УРОВЕНЬ CONTROL PLANE 44 ETCD § Быстрые диски (fsync latency <10ms, highest priority) § 3 реплики + снапшоты § Мониторинг LeaderChanges + NoLeader
45. ETCD § Быстрые диски (fsync latency <10ms, highest priority) § 3 реплики + снапшоты § Мониторинг LeaderChanges + NoLeader API Server § OpenID + RBAC rules + LDAP (dex+rbac-operator) § 3 реплики + балансировщик (keepalived+haproxy) § Мониторинг latency/rps (GAP Stack) УРОВЕНЬ CONTROL PLANE 45
46. УРОВЕНЬ CONTROL PLANE 46 ETCD § Быстрые диски (fsync latency <10ms, highest priority) § 3 реплики + снапшоты § Мониторинг LeaderChanges + NoLeader API Server § OpenID + RBAC rules + LDAP (dex+rbac-operator) § 3 реплики + балансировщик (keepalived+haproxy) § Мониторинг latency/rps (GAP Stack) Scheduler § Request/Limit + мониторинг OOMKilled и CPUThrottling § VPA/HPA (keda): когда usage << request == allocatable § Affinity/Toleration: «чтобы отделить зерна от плевел»
47. УРОВЕНЬ CONTROL PLANE 47 ETCD § Быстрые диски (fsync latency <10ms, highest priority) § 3 реплики + снапшоты § Мониторинг LeaderChanges + NoLeader API Server § OpenID + RBAC rules + LDAP (dex+rbac-operator) § 3 реплики + балансировщик (keepalived+haproxy) § Мониторинг latency/rps (GAP Stack) LoadBalancer + ingress § Отказались от MetalLB § ingress-nginx + hostNetwork=true + round-robin DNS § ServiceMesh: начали внедрять Istio § Policies: контроль за Ingress Path Scheduler § Request/Limit + мониторинг OOMKilled и CPUThrottling § VPA/HPA (keda): когда usage << request == allocatable § Affinity/Toleration: «чтобы отделить зерна от плевел»
48. УРОВЕНЬ WORKER NODES 48 Container Runtime + kubelet § Docker мёртв: используйте cri-o/containerd § Зеркало DockerHub: Nexus (+CleanPolicies), без latest § Мониторинг: диск под докер-образы (node_exporter)
49. Container Runtime + kubelet § Docker мёртв: используйте cri-o/containerd § Зеркало DockerHub: Nexus (+CleanPolicies), без latest § Мониторинг: диск под докер-образы (node_exporter) Container Network + kube-proxy § Calico Operator (+ Calico Typha) § Мониторинг рестартов сервисов (CrashLoopBackOff) § Overcommit ресурсов: свести к минимуму УРОВЕНЬ WORKER NODES 49
50. Container Runtime + kubelet § Docker мёртв: используйте cri-o/containerd § Зеркало DockerHub: Nexus (+CleanPolicies), без latest § Мониторинг: диск под докер-образы (node_exporter) Container Network + kube-proxy § Calico Operator (+ Calico Typha) § Мониторинг рестартов сервисов (CrashLoopBackOff) § Overcommit ресурсов: свести к минимуму УРОВЕНЬ WORKER NODES 50 Container Storage § Динамическое создание дисков (Dynamic Provisioning) § NFS-сервер: NFSv3, опции soft, reclaim policy (limitations) § А лучше сразу взять кластерную сетевую ФС: Ceph, LINSTOR
51. ВЫВОДЫ
52. KUBERNETES ЭТО… 52 Kubernetes нужен не всем и не всегда – это факт!
53. KUBERNETES ЭТО… 53 Kubernetes нужен не всем и не всегда – это факт! Kubernetes – это не всего 5 бинарей!
54. KUBERNETES ЭТО… 54 Kubernetes нужен не всем и не всегда – это факт! Kubernetes – это не всего 5 бинарей! но…
55. KUBERNETES ЭТО НЕ ROCKET SCIENCE 55 Kubernetes позволяет строить сложные и надежные системы Kubernetes нужен не всем и не всегда – это факт! Kubernetes – это не всего 5 бинарей! но…
56. KUBERNETES ЭТО НЕ ROCKET SCIENCE 56 Kubernetes позволяет строить сложные и надежные системы Kubernetes использует для этого понятный декларативный язык Kubernetes нужен не всем и не всегда – это факт! Kubernetes – это не всего 5 бинарей! но…
57. KUBERNETES ЭТО НЕ ROCKET SCIENCE 57 Kubernetes позволяет строить сложные и надежные системы Kubernetes использует для этого понятный декларативный язык Kubernetes нужен не всем и не всегда – это факт! Kubernetes – это не всего 5 бинарей! но… Kubernetes расширяем за счет дополнительных модулей (open-source)
58. СПАСИБО ЗА ВНИМАНИЕ СПАСИБО ЗА ВНИМАНИЕ «Мало кто находит выход, некоторые не видят его, даже если найдут, а многие даже не ищут» (с) «Алиса в стране чудес» Льюис Кэрролл @gainanovrus Telegram