Мимо тёщиного дома я без метрик не хожу. То им пром в забор просуну, то mimir'у покажу!

Доклад архитектора решений Okmeter (https://okmeter.ru/) Владимира Гурьянова на DevOpsConf 2023.

Transcript

1. Мимо тёщиного дома я без метрик не хожу. То им пром в забор просуну то mimir-у покажу!
2. Владимир Гурьянов Solution Architect системы мониторинга Okmeter vladimir.guryanov@flant.com Чем занимаюсь Инженер, тимлид и архитектор с 10-летним стажем. Опыт С 2010 г. занимаюсь разработкой. С 2021 г. работаю в компании «Флант». С 2022 г. — руководитель разработки «хранилища мониторинга». С чем работаю больше всего Обо мне
3. Опыт «Фланта» За 14 лет более тысячи компаний построили инфраструктуру с нашей поддержкой 1 000+ компаний доверяют нам свой production > 150 компаний под нашим управлением > 6 000 серверов работают на наших решениях > 30 000 приложений Количество заказчиков 2008 1 2010 11 2012 25 2014 52 2016 52 2018 107 2020 131 2022 202 Прямо сейчас:
4. Опыт Okmeter используют Okmeter в качестве системы мониторинга 250+ компаний в production > 6 000 хостов с каждого хоста > 5 000 метрик по фактическим значениям > 30 000 000 метрик в минуту зрелый продукт, сотни проектов 12 лет эксплуатации круглосуточная помощь в любой ситуации 24/7 поддержка
6. Zabbix initial release: April 2001, 21 years ago
7. Как выглядел ИТ-ландшафт 15–20 лет назад?
8. Ландшафт 15 лет назад Физические серверы
9. Ландшафт 15 лет назад Монолитные приложения Физические серверы
10. Ландшафт 15 лет назад Монолитные приложения Физические серверы Релизы 1–2 раза в год
11. Ландшафт 15 лет назад Монолитная инфраструктура Монолитные приложения Физические серверы Релизы 1–2 раза в год
12. Ландшафт 15 лет назад Монолитные приложения Физические серверы ~ 10 000 метрик на весь проект Монолитная инфраструктура Релизы 1–2 раза в год
13. Как сейчас выглядит ИТ-ландшафт?
14. Современный ландшафт Облака
15. Современный ландшафт Микросервисная архитектура Облака
16. Современный ландшафт Kubernetes Микросервисная архитектура Облака
17. Современный ландшафт Релизы по 1–100 раз в неделю Kubernetes Микросервисная архитектура Облака
18. Современный ландшафт «Бизнес-метрики» в приложениях Kubernetes Микросервисная архитектура Облака Релизы по 1–100 раз в неделю
19. Современный ландшафт «Бизнес-метрики» в приложениях ~ 10 000–50 000 метрик с одного хоста Kubernetes Микросервисная архитектура Облака Релизы по 1–100 раз в неделю
20. Современный ландшафт «Бизнес-метрики» в приложениях ~ 10 000–50 000 метрик с одного хоста Релизы по 10–100 раз в день Kubernetes Микросервисная архитектура Облака Инфраструктура динамичная
21. Какая система мониторинга нам нужна? Может сама находить источники метрик
22. Какая система мониторинга нам нужна? Может собирать «бизнес-метрики» Может сама находить источники метрик
23. Какая система мониторинга нам нужна? Может делать сложные агрегации над данными Может собирать «бизнес-метрики» Может сама находить источники метрик
24. Какая система мониторинга нам нужна? Может обрабатывать миллионы метрик Может делать сложные агрегации над данными Может собирать «бизнес-метрики» Может сама находить источники метрик
26. Нужна система мониторинга, подходящая под современные реалии!
27. Нам нужен Prometheus?
28. Кто вы, мистер Prometheus? Prometheus
29. Кто вы, мистер Prometheus? Prometheus Service Discovering
30. Кто вы, мистер Prometheus? Prometheus Service Discovering EC2, Consul, K8s… Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering
31. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
32. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… exporter 3rd Party Application Источники данных: • exporter — приложение, которое само собирает метрики и отдает их в формате Prometheus Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
33. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping EC2, Consul, K8s… exporter client library 3rd Party Application Application Источники данных: • exporter — приложение, которое само собирает метрики и отдает их в формате Prometheus • приложения Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP.
34. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage EC2, Consul, K8s… exporter client library 3rd Party Application Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB).
35. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage EC2, Consul, K8s… exporter client library 3rd Party Application Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana.
36. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts EC2, Consul, K8s… exporter client library 3rd Party Application Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana. 5. Prometheus Rules Создание новых метрик. Проверка «триггеров».
37. Кто вы, мистер Prometheus? Prometheus Service Discovering Scraping Storage Rules and Alerts EC2, Consul, K8s… exporter client library 3rd Party Application Alertmanager Email, Slack, Telegram, etc. Grafana Application Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). 6. Alertmanager Постобработка уведомлений и отправка их по каналам доставки. 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana. 5. Prometheus Rules Создание новых метрик. Проверка «триггеров».
38. Кто вы, мистер Prometheus? Prometheus взаимодействует с различными API для получения списка источников данных. 1. Service Discovering 2. Scraping Собирает данные с источников по pull- модели и протоколу HTTP. 3. Storage Полученные данные сохраняются в Time Series Database (TSDB). Prometheus Service Discovering Scraping Rules And Alerts ec2, konsul, K8s… exporter client library 3rd Part Application Alertmanager Email, Slack, Telegram, etc Grafana Application Storage 6. Alertmanager Постобработка уведомлений и отправка их по каналам доставки. 4. Визуализация данных Для получения данных используется PromQL. Для визуализации, как правило, используется Grafana. 5. Prometheus Rules Создание новых метрик. Проверка «триггеров».
39. Как устроена TSDB
40. Как собираются данные с одного источника
41. источник Как собираются данные с одного источника
42. 60 sec ts 10 источник Как собираются данные с одного источника
43. 60 sec ts 10 источник data Как собираются данные с одного источника
44. 60 sec ts 10 источник data timestamp Как собираются данные с одного источника
45. 60 sec ts 10 источник data timestamp 16 byte Как собираются данные с одного источника
46. 60 sec ts 10 источник «файл» Как собираются данные с одного источника
47. 60 sec ts 10 ts 10 ts 10 ts 10 источник «файл» Как собираются данные с одного источника
48. 60 sec ts 10 ts 10 ts 10 ts 10 источник «файл» Как собираются данные с одного источника линия на графике
49. А если у нас 1 000 000 источников?
50. Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
51. ts 10 ts 10 ts 10 ts 10 Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
52. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
53. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
54. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
55. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» Как собираются данные со многих источников
56. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec 1 Как собираются данные со многих источников
57. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 Как собираются данные со многих источников
58. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 16 500 IOPS * 16 byte 1 2 Как собираются данные со многих источников
59. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 16 500 IOPS * 16 byte = 22 GB / day 1 2 Как собираются данные со многих источников
60. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 2 16 byte 16 500 IOPS * 16 byte = 22 GB / day Как собираются данные со многих источников
61. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 2 16 byte 16 500 IOPS * 16 byte = 22 GB / day Как собираются данные со многих источников
62. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 2 16 byte 16 KB 16 500 IOPS * 16 byte = 22 GB / day Как собираются данные со многих источников
63. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 2 16 500 IOPS * 16 KB Как собираются данные со многих источников
64. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 1 2 16 500 IOPS * 16 KB = 22 TB / day Как собираются данные со многих источников
65. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Вариант № 1: с каждого источника в свой «файл» 1 000 000 IO / 60 sec = 16 500 IOPS 16 500 IOPS * 16 KB = 22 TB / day 1 2 Как собираются данные со многих источников
66. Вариант № 2: со всех источников в один «файл» Как собираются данные со многих источников
67. Вариант № 2: со всех источников в один «файл» 1 000 000 Как собираются данные со многих источников
68. Вариант № 2: со всех источников в один «файл» 1 000 000 Как собираются данные со многих источников
69. Вариант № 2: со всех источников в один «файл» 1 000 000 ts 10 ts 10 ts 10 Как собираются данные со многих источников
70. Вариант № 2: со всех источников в один «файл» 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Как собираются данные со многих источников
71. Вариант № 2: со всех источников в один «файл» 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Как собираются данные со многих источников
72. 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Вариант № 2: со всех источников в один «файл» 16 byte * 1 000 000 Как собираются данные со многих источников
73. 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Вариант № 2: со всех источников в один «файл» 16 byte * 1 000 000 = 15 MB / 60 sec Как собираются данные со многих источников
74. 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Вариант № 2: со всех источников в один «файл» 16 byte * 1 000 000 = 15 MB / 60 sec = 23 GB / day Как собираются данные со многих источников
75. Вариант № 2: со всех источников в один «файл» 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ? 24 hours Как собираются данные со многих источников
76. Вариант № 2: со всех источников в один «файл» 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ? 24 hours Как собираются данные со многих источников
77. Вариант № 2: со всех источников в один «файл» 1 000 000 ? 24 hours ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Как собираются данные со многих источников
78. Вариант № 2: со всех источников в один «файл» 1 000 000 ? 24 hours ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Как собираются данные со многих источников
79. Проблема
80. Проблема ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000
81. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 000 000 Читаем всегда горизонтально Проблема
82. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Читаем всегда горизонтально 1 000 000 Проблема Пишем всегда вертикально
83. Как решать?
84. 1 000 000 Как решать?
85. ts 10 ts 10 ts 10 1 000 000 Как решать?
86. ts 10 ts 10 ts 10 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Как решать?
87. ts 10 ts 10 ts 10 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
88. ts 10 ts 10 ts 10 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
89. ts 10 ts 10 ts 10 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
90. ts 10 ts 10 1 000 000 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
91. Как решать?
92. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
93. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
94. Спустя месяц... Как решать?
95. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour Как решать?
96. Операция “merge” ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 hour 4 hours
97. 16 hours Операция “merge”
98. Проблема ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Читаем всегда горизонтально Пишем всегда вертикально 1 000 000
99. Проблема больше не проблема ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Читаем всегда горизонтально Пишем всегда вертикально 1 000 000
100. ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
101. Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ?
102. Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 LabelSet
103. Как идентифицировать? { ключ: значение, ключ: значение, … } LabelSet
104. Как идентифицировать? { ключ: значение, ключ: значение, … } { name: cpu_usage, node: curiosity, core: 4 } LabelSet
105. Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 LabelSet
106. { name: cpu_usage, node: curiosity, core: 0 } Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } LabelSet
107. { name: cpu_usage, node: curiosity, core: 0 } Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 {ls} { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 }
108. { name: cpu_usage, node: curiosity, core: 0 } Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } #t_id {ls}
109. { name: cpu_usage, node: curiosity, core: 0 } Как идентифицировать? ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 { name: cpu_usage, node: curiosity, core: 1 } { name: cpu_usage, node: curiosity, core: 999999 } Временной ряд #t_id {ls}
110. Как идентифицировать? 1 000 000 {ls} {ls} {ls}
111. Как идентифицировать? map 1 000 000 {ls} {ls} {ls}
112. Как идентифицировать? {ls}➞#id map {ls} {ls} {ls} 1 000 000
113. {ls}➞#id Как идентифицировать? {ls}➞#id map {ls} {ls} {ls} 1 000 000
114. {ls}➞#id ts 10 #id Как идентифицировать? {ls}➞#id map {ls} {ls} {ls} 1 000 000
115. {ls}➞#id ts 10 #id Как идентифицировать? {ls}➞#id map ts 10 #id {ls} {ls} {ls} 1 000 000
116. Как идентифицировать? {ls}➞#id {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls} 1 000 000 {ls} {ls}
117. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls}➞#id
118. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id
119. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id
120. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10
121. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10
122. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map
123. {ls} 1 000 000 {ls} {ls} Как идентифицировать? {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map
124. {ls} 1 000 000 {ls} {ls} Рисуем график {ls}➞#id map ts 10 #id {ls}➞#id {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 ts 10 {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map
125. {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map ts 10 ts 10 #id {ls}➞#id {ls}➞#id map ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls} {ls} 1 000 000 {ls} {ls}
126. {ls} 1 000 000 {ls} {ls} {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls}➞#id {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id map {ls}
127. {ls} 1 000 000 {ls} {ls} {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls}➞#id {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id map {ls}
128. {ls} 1 000 000 {ls} {ls} {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls}➞#id {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id map {ls}➞#id map {ls} ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id
129. {ls} 1 000 000 {ls} {ls} {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id {ls}➞#id {ls}➞#id {ls}➞#id {ls}➞#id map {ls}➞#id map {ls}➞#id map ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls}
130. {ls} 1 000 000 {ls} {ls} {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id {ls}➞#id {ls}➞#id {ls}➞#id {ls}➞#id map {ls}➞#id map {ls}➞#id map ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
131. 1 000 000 {ls}➞#id ts 10 #id {ls}➞#id ts 10 #id ts 10 #id ts 10 #id ts 10 #id ts 10 #id {ls}➞#id {ls}➞#id {ls}➞#id {ls}➞#id map {ls}➞#id map {ls}➞#id map ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 #id {ls}➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id Рисуем график {name: cpu_usage, node: curiosity, core: 4} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 {ls} {ls} {ls}
132. В итоге
133. «Поворот» на 90° В итоге
134. «Поворот» на 90° LabelSet’ы В итоге
135. “Поворот” на 90° LabelSet’ы Журнал В итоге
136. “Поворот” на 90° LabelSet’ы Журнал «Активный» блок В итоге
137. “Поворот” на 90° LabelSet’ы Журнал «Активный» блок «Завершенные» блоки В итоге
138. Журнал «Активный» блок Log Structured Merge Tree LSMT В итоге «Завершенные» блоки
139. TSDB на базе LSMT Log Structured Merge Tree
140. Нам нужен Prometheus! Service Discovery
141. Нам нужен Prometheus! Инструментарий для сбора метрик с приложения Service Discovery
142. Нам нужен Prometheus! Полноценный язык запросов — PromQL Инструментарий для сбора метрик с приложения Service Discovery
143. Нам нужен Prometheus! База данных, заточенная под хранение метрик Полноценный язык запросов — PromQL Инструментарий для сбора метрик с приложения Service Discovery
144. Нам нужен Prometheus! База данных, заточенная под хранение метрик Полноценный язык запросов — PromQL Инструментарий для сбора метрик с приложения Service Discovery Большое комьюнити
145. КОМПАНИЯ ПРОМЕТЕЙ Серия 1: cтартап
146. СТО и идейный вдохновитель Разработчик backend/Ops Разработчик frontend ПЕТЯ ВАСЯ ГЕНА В РОЛЯХ
147. А что у нас было с нагрузкой во время демонстрации инвесторам? Да кто ж его знает? ВАСЯ ПЕТЯ
148. Задача: сбор метрик
149. Cluster Single Prometheus? Exporter Application • Сбор метрик Для чего Grafana
150. А что, если Prometheus упадет? ВАСЯ Графиков не будет! ПЕТЯ
151. Cluster Single Prometheus? Exporter Application • Сбор метрик Для чего Grafana • Нет отказоустойчивости Минусы
152. Cluster Single Prometheus? Exporter Application • Сбор метрик Для чего Grafana • Нет отказоустойчивости • Не масштабируется Минусы
153. КОМПАНИЯ ПРОМЕТЕЙ Серия 2: небольшая компания Год первый
154. СТО и идейный вдохновитель Teamlead команды backend-разработчиков + Ops Teamlead frontend-команды + помогает Пете с Ops ПЕТЯ ВАСЯ ГЕНА В РОЛЯХ
155. Клиент пишет, что у нас платежи не обрабатываются. Что случилось? Да кто ж его знает? У нас VM с мониторингом недоступна. ВАСЯ ПЕТЯ
156. Задача: отказоустойчивость
157. Cluster НА Prometheus Exporter Application • Сбор метрик Для чего Grafana
158. Kubernetes Cluster НА Prometheus Exporter Application • Сбор метрик • Отказоустойчивость Для чего LB Grafana
159. А как это работает? ВАСЯ Сейчас расскажу... ПЕТЯ
160. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
161. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
162. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
163. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
164. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
165. А если один из Prometheus упадет? ВАСЯ
166. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
167. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
168. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ? ?
169. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ? ? ts 10 ts 10 ts 10 ? ?
170. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ts 10 ts 10 ts 10 ? ? ts 10 ts 10 ts 10 ? ?
171. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ts 10 ts 10 ts 10
172. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
173. А мы сможем обновлять Prometheus? ВАСЯ
174. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2
175. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ?
176. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ? ts 10 ts 10 ts 10 ? ts 10
177. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ? ?
178. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 LB Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 Prometheus 1 Prometheus 2 ? ? ts 10 ts 10 ts 10 ? ?
179. Я знаю, что делать! ПЕТЯ
180. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 Proxy Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
181. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 Proxy Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
182. НА Prometheus {ls} {ls} {ls} ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 1 2 Proxy Grafana Timeline ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10 ts 10
183. Kubernetes Cluster НА Prometheus Exporter Application • Сбор метрик • Отказоустойчивость Для чего LB Grafana Минусы
184. Kubernetes Cluster НА Prometheus Exporter Application • Сбор метрик • Отказоустойчивость Для чего LB Grafana • Не масштабируется Минусы
185. Prometheus не рассчитан для длительного хранения данных If your local storage becomes corrupted for whatever reason, the best strategy to address the problem is to shut down Prometheus then remove the entire storage directory. You can also try removing individual block directories, or the WAL directory to resolve the problem. Note that this means losing approximately two hours data per block directory. Again, Prometheus's local storage is not intended to be durable long-term storage; external solutions offer extended retention and data durability. If both time and size retention policies are specified, whichever triggers first will be used. https://prometheus.io/docs/prometheus/latest/storage/
186. Kubernetes Cluster НА Prometheus Exporter Application • Сбор метрик • Отказоустойчивость Для чего LB Grafana • Не масштабируется • Нет возможности хранить данные долго Минусы
187. КОМПАНИЯ ПРОМЕТЕЙ Серия 3: корпорация
188. СТО и идейный вдохновитель Teamlead команды backend-разработчиков Teamlead команды frontend- разработчиков ПЕТЯ ВАСЯ ГЕНА В РОЛЯХ
189. Teamlead команды эксплуатации СНЕЖАНА В РОЛЯХ Команда техподдержки Команды разработки
190. Хорошо работает Kubernetes Cluster App Grafana Exporter
191. Хорошо работает
192. Привет, Снежана! Уже 20 минут часть сервисов недоступна. Что случилось? ВАСЯ СНЕЖАНА Да кто ж его знает? У нас глобальный сбой, пытаемся найти причины, но у нас 10 ДЦ и везде разные системы мониторинга…
193. Уже не работает
194. Уже не работает Grafana
195. Задача: централизация метрик
196. Thanos / Cortex / Mimir Kubernetes Cluster App Exporter Mimir Grafana
197. Мы теперь можем отказаться от локальных Prometheus? ВАСЯ СНЕЖАНА Не совсем. И к тому же с нюансами…
198. А можно без Prometheus Kubernetes Cluster App Exporter Grafana Mimir 1 Prometheus Agent 2 VM Agent 3 Grafana Agent • Не будет работать HPA / VPA Нюансы
199. А можно без Prometheus Kubernetes Cluster App Exporter Grafana Mimir 1 Prometheus Agent 2 VM Agent 3 Grafana Agent • Не будет работать HPA / VPA • Могут быть вопросы с record rules Нюансы
200. А можно без Prometheus Kubernetes Cluster App Exporter Grafana Mimir 1 Prometheus Agent 2 VM Agent 3 Grafana Agent • Не будет работать HPA / VPA • Могут быть вопросы с record rules • Могут проблемы с алертами Нюансы
201. А можно без Prometheus Kubernetes Cluster App Exporter Grafana Mimir 1 Prometheus Agent 2 VM Agent 3 Grafana Agent • Не будет работать HPA / VPA • Могут быть вопросы с record rules • Могут проблемы с алертами Нюансы • Использовать Prometheus c retention 1d Решение
202. Thanos / Cortex / Mimir Mimir Grafana
203. Так-так, интересненько, а можно поподробнее? ВАСЯ СНЕЖАНА Конечно, но будет непросто!
204. Хранение метрик Mimir Mimir — это
205. Хранение метрик Mimir • Микросервисная версия Prometheus Mimir — это
206. Хранение метрик Mimir • Микросервисная версия Prometheus • С возможностью разделения мониторинговых данных по тенантам Mimir — это
207. Хранение метрик Mimir • Микросервисная версия Prometheus • С возможностью разделения мониторинговых данных по тенантам • С возможностью мультитенантных запросов Mimir — это
208. Хранение метрик Distributor Ingester Compactor Query Frontend Querier Store Gateway Blocks Storage (S3) Result Cache etcd Mimir Ruler Alertmanager
209. Запись метрик Storage
210. Ingester 2 Blocks Storage (S3) 3 Compactor Запись метрик Query Frontend Querier Store Gateway Result Cache etcd Read path Mimir Ruler Alertmanager Принимает запросы, валидирует их и направляет в Ingester 1. Distributor Distributor Write path 1
211. Blocks Storage (S3) 3 Compactor Запись метрик Query Frontend Querier Store Gateway Result Cache etcd Read path Mimir Принимает запросы, валидирует их и направляет в Ingester Ruler Alertmanager 1. Distributor Отвечает на запросы по данным за последние 2 часа 2. Ingester Distributor Ingester Write path 1 2
212. Compactor Запись метрик Query Frontend Querier Store Gateway Result Cache etcd Read path Mimir Принимает запросы, валидирует их и направляет в Ingester 1. Distributor Отвечает на запросы по данным за последние 2 часа 2. Ingester Блок после формирования отправляется в S3 3. Blocks Storage (S3) Ruler Alertmanager Distributor Ingester Blocks Storage (S3) Write path 1 2 3
213. Запись метрик Query Frontend Querier Store Gateway Result Cache etcd Read path Mimir Принимает запросы, валидирует их и направляет в Ingester 1. Distributor Отвечает на запросы по данным за последние 2 часа 2. Ingester Блок после формирования отправляется в S3 3. Blocks Storage (S3) Оптимизирует хранение блоков 4. Compactor Ruler Alertmanager Distributor Ingester Compactor Blocks Storage (S3) Write path 1 2 3 4
214. Запись метрик Query Frontend Querier Store Gateway Result Cache etcd Read path Mimir Принимает запросы, валидирует их и направляет в Ingester 1. Distributor Отвечает на запросы по данным за последние 2 часа 2. Ingester Блок после формирования отправляется в S3 Ruler Alertmanager 3. Blocks Storage (S3) Оптимизирует хранение блоков 4. Compactor Distributor Ingester Compactor Blocks Storage (S3) Write path 1 2 3 4
215. Чтение метрик Storage
216. Result Cache Querier Ingester Store Gateway Blocks Storage (S3) Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Distributor Compactor Ruler Alertmanager Write path Query Frontend Read path 1
217. Querier Ingester Store Gateway Blocks Storage (S3) Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Distributor Compactor Ruler Alertmanager Write path Query Frontend Result Cache Read path 1 2
218. Querier Ingester Store Gateway Blocks Storage (S3) Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Distributor Compactor Ruler Alertmanager Write path Query Frontend Result Cache Read path 1 2 Кэширование данных Многоуровневое кэширование данных позволяет сократить аппаратные ресурсы и время для отображения данных.
219. Ingester Store Gateway Blocks Storage (S3) Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Забирает запросы, для которых не нашлось ответа в кэше 3. Querier Distributor Compactor Ruler Alertmanager Write path Query Frontend Querier Result Cache Read path 1 2 3
220. Blocks Storage (S3) Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Забирает запросы, для которых не нашлось ответа в кэш 3. Querier Получает данные из Ingester и S3 (используя интерфейс Store Gateway) 4. Querier Distributor Compactor Ruler Alertmanager Write path Query Frontend Querier Store Gateway Result Cache Read path Ingester 1 2 3 4 4
221. Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Забирает запросы, для которых не нашлось ответа в кэш 3. Querier Получает данные из Ingester и S3 (используя интерфейс Store Gateway) 4. Querier Distributor Compactor Ruler Alertmanager Write path Query Frontend Querier Store Gateway Result Cache Read path Ingester Blocks Storage (S3) Ищет нужные данные на основании индекса и запрашивает данные в S3 5. Store Gateway 1 2 3 4 4 5
222. Store Gateway
223. Store Gateway {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map ts 10 ts 10 #id ts 10 ts 10 #id Blocks Storage (S3) Store Gateway
224. Store Gateway {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 #id Store Gateway {ls} ➞#id map {ls} ➞#id map {ls} ➞#id {ls} ➞#id map {ls} ➞#id {ls} ➞#id map Blocks Storage (S3)
225. {name: cpu_usage, node: curiosity, core: 4} {ls} Store Gateway {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map ts 10 ts 10 #id ts 10 ts 10 #id Blocks Storage (S3) Store Gateway {ls} ➞#id {ls} ➞#id map {ls} ➞#id {ls} ➞#id map
226. Blocks Storage (S3) {name: cpu_usage, node: curiosity, core: 4} {ls} Store Gateway {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map ts 10 ts 10 #id ts 10 ts 10 #id Store Gateway {ls} ➞#id {ls} ➞#id map {ls} ➞#id {ls} ➞#id map
227. Blocks Storage (S3) Store Gateway {ls} ➞#id {ls} ➞#id map {ls} ➞#id {ls} ➞#id map {name: cpu_usage, node: curiosity, core: 4} {ls} Store Gateway {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map {ls} ➞#id {ls} ➞#id ts 10 ts 10 #id ts 10 ts 10 #id map ts 10 ts 10 #id ts 10 ts 10 #id ts 10 ts 10 ts 10 ts 10 ts 10
228. Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Забирает запросы, для которых не нашлось ответа в кэш 3. Querier Получает данные из Ingester и S3 (используя интерфейс Store Gateway) 4. Querier Distributor Compactor Ruler Alertmanager Write path Query Frontend Querier Store Gateway Result Cache Read path Ingester Blocks Storage (S3) Производит поиск нужных данных на основании индекса и запрашивает данные в S3 5. Store Gateway Собирает все данные, выполняет PromQL и возвращает ответ 6. Query Frontend 1 2 3 4 4 5 6
229. Чтение метрик etcd Mimir Принимает запрос, валидирует и разделяет на подзапросы 1. Query Frontend Проверяет, есть ли нужный ответ в кэше 2. Query Frontend Забирает запросы, для которых не нашлось ответа в кэш 3. Querier Получает данные из Ingester и S3 (используя интерфейс Store Gateway) 4. Querier Distributor Compactor Ruler Alertmanager Write path Query Frontend Querier Store Gateway Result Cache Read path Ingester Blocks Storage (S3) Ищет нужные данные на основании индекса и запрашивает данные в S3 5. Store Gateway Собирает все данные, выполняет PromQL и возвращает ответ 6. Query Frontend 1 2 3 4 4 5 6
230. Чтение метрик Distributor Ingester Compactor Query Frontend Querier Store Gateway Blocks Storage (S3) Result Cache etcd Read path Write path Mimir Ruler Alertmanager
231. Надежность Storage
232. Mimir Надёжность Blocks Storage (S3) Result Cache etcd Ruler Alertmanager Read path Write path Distributor Ingester Compactor Query Frontend Querier Store Gateway
233. Mimir Надёжность Blocks Storage (S3) Result Cache etcd Ruler Alertmanager Read path Write path Distributor Query Frontend Distributor Compactor Query Frontend Querier Ingester Store Gateway Distributor Ingester Compactor Query Frontend Querier Store Gateway Независимое горизонтальное масштабирование компонентов Все компоненты Mimir поддерживают горизонтальное масштабирование. Это позволяет гибко подстраиваться под любые нагрузки и экономить ресурсы.
234. Mimir Надёжность Result Cache etcd Read path Write path Distributor Compactor Query Frontend Querier Ruler Alertmanager Независимое горизонтальное масштабирование компонентов Все компоненты Mimir поддерживают горизонтальное масштабирование. Это позволяет гибко подстраиваться под любые нагрузки и экономить ресурсы. Отказоустойчивость Компоненты Mimir запускаются в нескольких экземплярах, а данные реплицируются между ними. Так достигается необходимый уровень отказоустойчивости — в том числе и для беспростойного обновления компонентов. Blocks Storage (S3) Ingester Ingester Store Gateway Store Gateway
235. Масштабируемость Storage
236. Mimir Масштабируемость Result Cache etcd Read path Write path Distributor Compactor Query Frontend Querier Независимое горизонтальное масштабирование компонентов Все компоненты Mimir поддерживают горизонтальное масштабирование. Это позволяет гибко подстраиваться под любые нагрузки и экономить ресурсы. Ruler Alertmanager Отказоустойчивость Компоненты Mimir запускаются в нескольких экземплярах, а данные реплицируются между ними. Так достигается необходимый уровень отказоустойчивости — в том числе и для беспростойного обновления компонентов. Blocks Storage (S3) Ingester Ingester Ingester Распределение нагрузки Все компоненты Mimir поддерживают механизмы шардирования и решардирования данных для распределения нагрузки. Ingester Store Gateway Store gateway
237. Mimir Масштабируемость Result Cache Read path Write path Distributor Compactor Query Frontend Querier Ruler Alertmanager Независимое горизонтальное масштабирование компонентов Все компоненты Mimir поддерживают горизонтальное масштабирование. Это позволяет гибко подстраиваться под любые нагрузки и экономить ресурсы. Отказоустойчивость Компоненты Mimir запускаются в нескольких экземплярах, а Mimir реплицируются между ними. Так достигается необходимый уровень отказоустойчивости — в том числе и для беспростойного обновления компонентов. Blocks Storage (S3) Ingester Ingester Ingester Распределение нагрузки Все компоненты Mimir поддерживают механизмы шардирования и решардирования данных для распределения нагрузки. Ingester Store Gateway etcd Store gateway
238. Mimir Масштабируемость Result Cache etcd Read path Write path Distributor Query Frontend Querier Store Gateway Независимое горизонтальное масштабирование компонентов Все компоненты Mimir поддерживают горизонтальное масштабирование. Это позволяет гибко подстраиваться под любые нагрузки и экономить ресурсы. Отказоустойчивость Компоненты Mimir запускаются в нескольких экземплярах, а данные реплицируются между ними. Так достигается необходимый уровень отказоустойчивости — в том числе и для беспростойного обновления компонентов. Ingester Ingester Ingester Ruler Alertmanager Распределение нагрузки Все компоненты Mimir поддерживают механизмы шардирования и решардирования данных для распределения нагрузки. Оптимизация хранения Compactor оптимизирует хранение блоков за счет дедупликации данных и агрегации данных нескольких блоков в блоки большего размера. Compactor Blocks Storage (S3)
239. Итого Mimir • Отказоустойчивость из коробки Плюсы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
240. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) Плюсы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
241. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет Плюсы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
242. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
243. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы • Сложность Минусы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
244. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы • Сложность • Дополнительные компетенции Минусы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
245. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы • Сложность • Дополнительные компетенции Минусы • Нет механизмов авторизации Нерешенные вопросы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
246. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы • Сложность • Дополнительные компетенции Минусы • Нет механизмов авторизации • Высокое потребление ресурсов Нерешенные вопросы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
247. Итого Mimir • Отказоустойчивость из коробки • Горизонтальное масштабирование (с возможностью шардирования данных) • Возможность хранить мониторинговые данные десятки лет • Разделение мониторинговых данных Плюсы • Сложность • Дополнительные компетенции Минусы • Нет механизмов авторизации • Высокое потребление ресурсов • Скорость работы зависит от производительности сети Нерешенные вопросы Mimir Result Cache etcd Distributor Query Frontend Querier Store Gateway Ingester Compactor Blocks Storage (S3) Ruler Alertmanager Read path Write path
248. Что же выбрать? Prometheus Prometheus HA Mimir Сбор метрик НА Длительное хранение Все метрики в одном месте Централизованное хранение Сложность
249. ВАСЯ А может, ну его, давай поедем в SaaS? Хм… СНЕЖАНА
250. To be continued…
251. David Magton CTO Алёна Лунина Оформление презентации Спасибо! Михаил Жучков Куратор доклада Антон Климов Оформление презентации
252. okmeter.ru Владимир Гурьянов Флант DevOps и Kubernetes, обслуживание 24/7 habr.com/ru/company/flant youtube.com/c/Флант flant.ru t.me/flant_ru t.me/Magvai69 vladimir.guryanov@flant.com Ещё один доклад Оценить доклад Solution Architect системы мониторинга Okmeter