Трассировка микросервисов или когда метрик и логов недостаточно

Мониторинг микросервисов крайне необходимая часть качественной работы современных веб-сервисов. Мониторинг помогает оценить состояние системы в целом и сигнализировать о проблемах, но при условии, что вы заранее подготовились и добавили расчет метрик и настроили алерты для определения возможных неполадок в системе. За счет логов можно более точно локализовать обнаруженные неполадки, но в случае множества микросервисов это может быть затруднительно. А если возникла ошибка в сервисах, разрабатываемых не вами, то это почти невозможно. Особенно трудной задачей является поиск узких мест в системе. Например, когда ваша система возвращает ответ пользователю дольше, чем рассчитывали, но при этом все сервисы работают в штатном режиме. Как решать такие задачи?

Здесь могут помочь распределенные трассировки микросервисов, за счет построения графа трассировок и расчета метрик АРМ можно быстро локализовать проблемные места и выполнить необходимые оптимизации. За последнее время технологии в этой области далеко шагнули вперед, появились стандартизированные решения и были разработаны библиотеки для автоинструментации, которые позволяют без сложных манипуляций с кодом воспользоваться всеми преимуществами распределенных трассировок.

Спикер расскажет, что необходимо для запуска систем трассировок на базе open-source решений, покажет на простых примерах как настроить сбор трейсов с микросервисов на Python (fastapi, SQLAlchemy, httpx), как потом работать с трейсами и какую полезную информацию можно извлечь.

Спикер: Руслан Гайнанов, тимлид DevOps-команды в ИТ-Холдинге Т1

Запись доклада - https://www.youtube.com/live/_0BEvQjhVvs?si=YWNQSjZtCBUMwJ_k&t=26767

Transcript

1. Содержание
2. Руслан Гайнанов, Главный инженер DevOps Трассировка микросервисов или когда метрик и логов недостаточно 02.08.2024
3. ? ?
4. Логи и метрики дашбоарды
5. Логи и метрики - не панацея дашбоарды
6. ситуация
11. 11 Source: Reddit
16. 16 Трассировка распределенных микросервисов
17. представление
18. 18 Обо мне Гайнанов Руслан: • тимлид команды DevOps в дивизионе продуктовой разработки компании Т1-Иннотех • выпускник Пермского Политеха, каф.ИТАС Занимаюсь разработкой сервисов для автоматизации разработки и внедрения продуктов компании
19. 19 Холдинг Т1 сегодня
21. о чем пойдет речь
22. Содержание 1. мониторинг систем 2. трейсы и спаны 3. технологии 4. zero-code (auto) трассировки 5. сбор и работа с трейсами
23. 23 Зачем нужен мониторинг?
24. 24 Зачем нужен мониторинг? • определять состояние системы
25. 25 Зачем нужен мониторинг? • определять состояние системы • выявлять ошибки системы и их причины
26. 26 Зачем нужен мониторинг? • определять состояние системы • выявлять ошибки системы и их причины • оперативно сообщать при наступлении каких-либо событий
27. 27 Зачем нужен мониторинг? • определять состояние системы • выявлять ошибки системы и их причины • оперативно сообщать при наступлении каких-либо событий • помогать в поиске узких мест и оптимизации
28. 28 На основе чего строить мониторинг?
29. 29 На основе чего строить мониторинг? • метрики
30. 30 На основе чего строить мониторинг? • метрики • логи
31. 31 На основе чего строить мониторинг? • метрики • логи • трейсы
32. 32 На основе чего строить мониторинг? • метрики • логи • трейсы
33. 33 Three pillars: metrics, traces, logs
34. 34 Из чего состоит трассировка? Спан (span) - единица какой-либо работы/операции Трейс (trace) - объединение спанов по одному запросу
35. трейсы и спаны
36. 36 Трассировка в микросервисах
37. 37 Трассировка в микросервисах
38. 38 Что дает распределенная трассировка? • определение источника проблемы
39. 39 Что дает распределенная трассировка? • определение источника проблемы • определение схемы взаимодействий сервисов и пути запроса
40. 40 Что дает распределенная трассировка? • определение источника проблемы • определение схемы взаимодействий сервисов и пути запроса • расчет задержек на всех уровнях
41. технологии
42. 42 Технологии
43. 43 В 2019 появляется новый стандарт
44. 44 В 2019 появляется новый стандарт
45. 45 История OpenTelemetry OpenCensus • старт в 2018 • проект Google • API и SDK • метрики и трейсы • Google, Splunk, Microsoft OpenTracing • старт в 2016 • проект CNCF • только API • трейсы • Uber, Datadog, RedHat, Jaeger OpenTelemetry • старт в 2019 • проект CNCF • Spec, API и SDK • трейсы и метрики • объединил всех
46. 46 OpenTelemetry в 2024 - no vendor-lock: - > 40 компаний - > 1000 контрибьюторов - GA & Stable - 5k на GitHub - интеграции с популярными системами мониторинга: Grafana, Kibana, Jaeger, etc.
47. 47 OpenTelemetry SDK - текущий статус Traces Metrics Logs C++ Stable Stable Stable C#/.NET Stable Stable Stable Java Stable Stable Stable PHP Stable Stable Stable Go Stable Stable Beta JavaScript Stable Stable Development Python Stable Stable Development Ruby Stable Development Development Swift Stable Development Development https://opentelemetry.io/docs/languages/#status-and-releases
48. Как появляются и обрабатываются трейсы и спаны?
50. 50 Инструментация
51. 51 Отправка трейсов в БД
52. 52 Отправка трейсов в БД, например Jaeger
53. 53 Collector - сбор, обработка и отправка
54. примеры
55. примеры генерация трейсов
56. примеры автогенерация трейсов
57. 57 Файл app.py: Простой веб-сервер на Flask (python) from flask import Flask app = Flask(__name__) @app.route("/") def index(): return "hello-world" if __name__ == "__main__": app.run(host="0.0.0.0", port=8001)
58. 58 Запуск веб-сервера $ python app.py
59. 59 Авто-инструментация (zero-code)
60. 60 Авто-инструментация (zero-code) $ opentelemetry-instrument python app.py
61. 61 Авто-инструментация (zero-code) $ opentelemetry-instrument python app.py
62. 62 демо
63. взаимодействие сервисов
64. 64 Как связать одним трейсом 2 сервиса?
65. 65 Trace Context - передача контекста в HTTP заголовках Как связать одним трейсом 2 сервиса?
66. 66 Trace Context - передача контекста в HTTP заголовках Как связать одним трейсом 2 сервиса?
67. 67 Trace Context - передача контекста в HTTP заголовках Как связать одним трейсом 2 сервиса?
68. 68 демо
69. поиск ошибок через трассировки
70. 70 Два случая: ошибка в обработке запроса
71. 71 Два случая: большое время обработки
72. 72 демо
73. заключение
74. 74 Посмотреть и попробовать - Tempo for Traces - Prometheus for Metrics - Loki for Logs - OpenTelemetry Collector for Processing - Grafana & Jaeger for UI - Logs-to-Trace & Trace-to-Logs - Flask & FastAPI applications - Auto- & Manual-Instrumentation - Useful Links @GRomR1/docker-tracing-demo
75. 75 Выводы Траблшутинг
76. 76 Выводы Траблшутинг Три сигнала
77. 77 Выводы Траблшутинг Три сигнала Инструментация
78. 78 … но почему тогда их не включают повсеместно? Распределенные трассировки - это прекрасно!
79. Спасибо за внимание Руслан Гайнанов
80. Скажим нет трасировкам! - не заменят метрики и логи - 100+ rps, 10+ микросервисов == дорого и сложно - но если очень хочется, то можно. см. доклад статью - буфер не бесконечен - теряем трейсы - 99% трейсов - бесполезны 80