Наблюдаем за микросервисами правильно

В рамках доклада рассмотрим как обеспечить мониторинг микросервисов и оценить состояние системы в целом. Как подружить метрики и логи от различных сервисов, чтобы быстро обнаруживать неполадки и точно локализовать корень проблемы вплоть до строчки кода. Разберемся зачем нужны распределенные трассировки и как их правильно настраивать в том числе применяя методы автоинструментации.
Спикер покажет на простых примерах как настроить сбор метрик, логов и трейсов с микросервисов на Python на базе open-source решений, как работать с ними и какую полезную информацию можно извлечь.

Доклад с конференции #ITGorky (Нижний Новгород, https://dev.itgorky.ru/) от 20.09.2025

Keywords: Observability, Metrics, Logs, Traces, OpenTelemetry, Python, FastAPI, Flask, Docker, Kubernetes
GitHub: https://github.com/GRomR1/monitoring-microservices-demo

Transcript

1. Наблюдаем за микросервисами правильно Руслан Гайнанов главный инженер DevOps
2. 3 Т1 сегодня — лидер российского ИТ-рынка Многопрофильный ИТ-холдинг, предоставляющий полный спектр решений для реализации высоко- технологичных проектов с учётом актуальных потребностей и отраслевой специфики заказчиков 850+ корпоративных и государственных клиентов №1в России Крупнейшие ИТ-компании Крупнейшие группы и компании в области ИКТ Рынок Решения Партнёры 40+ центров компетенций 97 единиц ПО внесено в ЕРРП 138 компаний в партнёрской сети НОТА 369 вендоров интеграции 485 сервисных партнёров 249,6 млрд руб. выручка за 2024 г. по МСФО +29% к 2023 г. 27 000+ сотрудников в ИТ-холдинге Т1
3. 4 Обо мне главный инженер DevOps + Пишу код + Управляю серверами + Оптимизирую процессы разработки Руслан Гайнанов
4. 5 Каждый видит то, что хочет увидеть… Одна мудрая притча
5. Рисунок №1
6. «Шесть мудрецов смотреть слона…» https://dzen.ru/a/YTETjO9zYlgUS5QU
7. Monolith Microservices
8. Микросервис — что же ты такое?
9. 10 Ситуация 10
18. 19 Как этого избежать? Организовать наблюдение за системой 19
19. 20 Процесс мониторинга Сбор данных телеметрии Визуализация Контроль и оптимизация Анализ
20. 21 Какие данные собирать? 21
21. Три сигнала телеметрии Метрики — количественные данные некоторых параметров системы Логи — структурированные данные о поведении и события в системе Трейсы — данные о выполняемых операциях внутри системы
22. Три сигнала телеметрии = Observability Метрики — количественные данные некоторых параметров системы Логи — структурированные данные о поведении и события в системе Трейсы — данные о выполняемых операциях внутри системы
23. Observability — сила в единстве
24. Четвертый сигнал? Четвертый сигнал Метрики, логи, трейсы
25. Профили — куда уходит …время Профили (Profiles) - трассировки стека вызовов - подробное представление на что в коде тратятся ресурсы: - циклы процессора, память и т.д. - поиск узких мест Непрерывное профилирование (Continuous profiling) — инструмент для оптимизации производительности приложений и эффективного использования ресурсов
26. 27 Вопрос Кто использует все три сигнала в своих проектах?
27. Из чего состоит трассировка? Спан (span) — единица какой-либо работы/операции Трейс (trace) — объединение спанов по одному запросу
28. Трассировка в микросервисах
29. Трассировка в микросервисах
30. 31 Как настроить сбор данных? 31
31. Классический подход Телеметрия собирается с помощью различных библиотек Данные обрабатываются и хранятся раздельно Нет корреляции между событиями
32. Современный подход Сбор телеметрии через инструментацию Единый обработчик с обогащением данными Связанные между собой события С помощью OpenTelementry
33. 34 Стандарт в телеметрии
34. 35 Авто-инструментация (zero-code) 35
35. Простой веб-сервер на Python-Flask Файл app.py: from flask import Flask app = Flask(__name__) @app.route("/") def index(): return "hello-world" if __name__ == "__main__": app.run(host="0.0.0.0", port=8001)
36. Запуск веб-сервера $ python app.py ❯ curl localhost:8001 hello-world
37. $ opentelemetry-instrument python app.py Авто-инструментация “Collection methods that do not require the end-user to modify application’s source code. Methods vary by programming language, and examples include bytecode injection or monkey patching.” (c) OpenTelemetry glossary
38. Monkey patching: runtime import time from functools import wraps ... def instrument_function(original_function): @wraps(original_function) def instrumented_function(*args, **kwargs): start_time = time.perf_counter_ns() result = original_function(*args, **kwargs) duration = time.perf_counter_ns() - start_time print(f"{original_function.__name__} took {duration} nanoseconds") return result return instrumented_function instrumentation/opentelemetry-instrumentation-flask/src/opentelemetry/instrumentation/flask#L337 Bytecode Instrumentation: VM (URL) Compile-Time Instrumentation: Binary (URL)
39. Пример запроса ❯ curl localhost:8001 hello-world
40. Пример спана в консоли { "body": "hello-world", "severity_text": "INFO", "attributes": { "otelServiceName": "flask-app", "code.filepath": "./docker-tracing-demo/flask_app/app.py", "code.function": "index", "code.lineno": 11 }, "timestamp": "2024-08-24T18:52:11.966384Z", "trace_id": "0x7ea0f1afc744150ffc7bb451d1906cf0", "span_id": "0xf296a5fd627ea074", }
41. Отправка спанов в Collector
42. 43 Связь нескольких микросервисов 43
43. Как связать одним трейсом два сервиса?
44. Trace Context — передача контекста в HTTP заголовках Как связать одним трейсом два сервиса?
45. Trace Context — передача контекста в HTTP заголовках Как связать одним трейсом два сервиса?
46. Подключил алерты ко всем сервисам логи метрики трейсы ты
47. MTTD и MTTR
48. Найти и обезвредить Доступность - 99,95% Время простоя - 4ч 22мин
49. Что искать и как? • Ошибки обработки (500-ки) • Долгие запросы (задержка>1с) Техники SRE: LETS, STELA, RED и USE
50. 51 Пора искать ошибки
51. пример
52. 53 Найти и обезвредить 53
53. 54 URL
54. Проблема локализована и устранена
55. Как попробовать самому?
56. 57 Посмотреть и попробовать • Useful Links • Logs-to-Trace & Trace-to-Logs • Tempo for Traces • Prometheus for Metrics • Loki for Logs • OpenTelemetry Collector for Processing • Grafana & Jaeger for UI • Flask & FastAPI applications • Auto- & Manual-Instrumentation • Pyrra for calculating SLOs, Error Budget • AlertManager & Karma for alerts • Beyla for eBPF instrumentation • Pyroscope as UI for Profiling @GRomR1/monitoring- microservices-demo
57. 58 В качестве заключения 58
58. Выводы Три сигнала Инструментация Траблшутинг
59. «Тогда я нарисовал удава изнутри…» «Маленький принц». А. де Сент-Экзюпери.
60. Спасибо Руслан Гайнанов главный инженер DevOps, T1 Иннотех @gainanovrus