KD.Conf - Мониторинг распределенных микросервисов (Гайнанов Руслан)

Доклад о том, как мониторинг распределенных микросервисов помогает сделать сервис более быстрым и исправить ошибки в коде, а также:
— как оценивать состояние системы с помощью мониторинга микросервисов;
— как рассчитывать метрики, настраивать уведомления о неполадках, искать и устранять узкие места;
— какие существуют open-source решения для трассировки микросервисов без сложных манипуляций с кодом;
— как собирать и анализировать трейсы от микросервисов на Python.

Запись выступления - https://youtu.be/__gkKpddQ6I

Transcript

1. Мониторинг распределенных микросервисов Руслан Гайнанов, Главный инженер DevOps
2. 2 2 Обо мне главный инженер DevOps + Больше 10 лет в IT + Спикер DevOops, Импульс, UDW + Тимлид команды DevOps на проекте Осмакс Руслан Гайнанов
4. 4 Зачем нужен мониторинг?
5. 5 5 Каждый видит то, что хочет увидеть… Одна мудрая притча
6. 6 Рисунок №1
7. 7 «Шесть мудрецов смотреть слона…» https://dzen.ru/a/YTETjO9zYlgUS5QU
8. 8 Микросервис — что же ты такое?
9. 9 Ситуация 9
18. 18 Как этого избежать? 18
19. 19 Как этого избежать? Организовать мониторинг за системой 19
20. 20 Процесс мониторинга Сбор данных телеметрии Визуализация Контроль и оптимизация Анализ
21. 21 Какие данные собирать? 21
22. 22 Три сигнала телеметрии Метрики — количественные данные некоторых параметров системы
23. 23 Три сигнала телеметрии Метрики — количественные данные некоторых параметров системы Логи — структурированные данные о поведении и события в системе
24. 24 Три сигнала телеметрии Метрики — количественные данные некоторых параметров системы Логи — структурированные данные о поведении и события в системе Трейсы — данные о выполняемых операциях внутри системы
25. 25 Три сигнала телеметрии = Observability Метрики — количественные данные некоторых параметров системы Логи — структурированные данные о поведении и события в системе Трейсы — данные о выполняемых операциях внутри системы
26. 26 Observability — сила в единстве
27. 27 27 Вопрос Кто использует все три сигнала в своих проектах?
28. 28 28 Вопрос Кто использует метрики и логи?
29. 29 29 Вопрос Кто использует трассировки?
30. 30 Из чего состоит трассировка? Спан (span) — единица какой-либо работы/операции Трейс (trace) — объединение спанов по одному запросу
31. 31 Трассировка в микросервисах
32. 32 Трассировка в микросервисах
33. 33 Основные преимущества Определение источника проблемы
34. 34 Основные преимущества Определение источника проблемы Определение схемы взаимодействий сервисов и пути запроса
35. 35 Основные преимущества Определение источника проблемы Определение схемы взаимодействий сервисов и пути запроса Расчёт задержек на всех уровнях
36. 36 Как настроить сбор данных? 36
37. 37 Классический подход Телеметрия собирается с помощью различных библиотек Данные обрабатываются и хранятся раздельно Нет корреляции между событиями
38. 38 Современный подход Сбор телеметрии через инструментацию Единый обработчик с обогащением данными Связанные между собой события С помощью OpenTelementry
39. 39 Стандарт в телеметрии
40. 40 OpenTelemetry в 2024 ▪ Под контролем группы CNCF (no vendor-lock) ▪ 5k on GitHub ▪ Stable SDK по многим ЯП ▪ Интеграции с: Grafana, Kibana, Jaeger и др. Traces Metrics Logs C++ Stable Stable Stable C#/.NET Stable Stable Stable Java Stable Stable Stable PHP Stable Stable Stable Go Stable Stable Beta JavaScript Stable Stable Development Python Stable Stable Development Ruby Stable Development Development Swift Stable Development Development https://opentelemetry.io/docs/languages/#status-and-releases
41. 41 Авто-инструментация (zero-code) 41
42. 42 Простой веб-сервер на Python-Flask Файл app.py: from flask import Flask app = Flask(__name__) @app.route("/") def index(): return "hello-world" if __name__ == "__main__": app.run(host="0.0.0.0", port=8001)
43. 43 Запуск веб-сервера $ python app.py
44. 44 $ opentelemetry-instrument python app.py Авто-инструментация
45. 45 Пример запроса ❯ curl localhost:8001 hello-world
46. 46 Пример спана в консоли { "body": "hello-world", "severity_text": "INFO", "attributes": { "otelServiceName": "flask-app", "code.filepath": "./docker-tracing- demo/flask_app/app.py", "code.function": "index", "code.lineno": 11 }, "timestamp": "2024-08-24T18:52:11.966384Z", "trace_id": "0x7ea0f1afc744150ffc7bb451d1906cf0", "span_id": "0xf296a5fd627ea074", }
47. 47 Отправка спанов в Collector
48. 48 Связь нескольких микросервисов 48
49. 49 Как связать одним трейсом два сервиса?
50. 50 Trace Context — передача контекста в HTTP заголовках Как связать одним трейсом два сервиса?
51. 51 Trace Context — передача контекста в HTTP заголовках Как связать одним трейсом два сервиса?
52. 52 Итак, мы все настроили ▪ Сбор метрик, логов и трейсов
53. 53 Итак, мы все настроили ▪ Сбор метрик, логов и трейсов
54. 54 Итак, мы все настроили ▪ Сбор метрик, логов и трейсов ▪ Передачу контекста между сервисами
55. 55 Итак, мы все настроили ▪ Сбор метрик, логов и трейсов ▪ Передачу контекста между сервисами ▪ Дашборды
56. 56 Итак, мы все настроили ▪ Сбор метрик, логов и трейсов ▪ Передачу контекста между сервисами ▪ Дашборды ▪ Алерты?!
57. 57 Как узнать о проблеме раньше всех? 57
58. 58 SLA/SLO/SLI SLO SLA SLI
59. 59 SLA/SLO/SLI SLO контракт с клиентами системы c описанием последствий несоответствия SLO SLA SLI значение, которого мы хотим достичь и не проваливаться ниже этой границы числовое значение какой-то конкретной характеристики, метрика обещаем стремимся измеряем
60. 60 Как считать? Event-Based SLI
61. 61 Что считать? • Ошибки обработки (500-ки) • Долгие запросы (задержка>1с) LETS, STELA, RED и USE
62. 62 62 Пора искать ошибки
63. 63 Пример
64. 64 Пользователи жалуются, что иногда возникают ошибки при запросе информации о других пользователях Пример
65. 65 Найти и обезвредить 65
67. 67 Проблема локализована и устранена
68. 68 Как попробовать самому?
69. 69 Посмотреть и попробовать ▪ Useful Links ▪ Logs-to-Trace & Trace-to-Logs ▪ Tempo for Traces ▪ Prometheus for Metrics ▪ Loki for Logs ▪ OpenTelemetry Collector for Processing ▪ Grafana & Jaeger for UI ▪ Flask & FastAPI applications ▪ Auto- & Manual-Instrumentation ▪ Pyrra for calculating SLOs, Error Budget ▪ AlertManager & Karma for alerts ▪ Pyroscope for Continious Profiling @GRomR1/monitoring-microservices-demo
70. 70 В качестве заключения 70
71. 71 Выводы Три сигнала
72. 72 Выводы Три сигнала Траблшутинг
73. 73 Выводы Три сигнала Инструментация Траблшутинг
74. 74 «Тогда я нарисовал удава изнутри…» «Маленький принц». А. де Сент-Экзюпери.
75. Спасибо Руслан Гайнанов главный инженер DevOps, T1 Иннотех @gainanovrus Создаем инновационные решения для автоматизированного управления устройствами в гетерогенной среде