”Серебряная пуля” для мониторинга многокомпонентных приложений построенных на JVM и других платформах

Владимир Красильщик
Руководитель группы разработки, Dino Systems

В докладе рассматриваются инструменты и подходы для мониторинга производительности приложений и мониторинга бизнес-транзакций в крупных многокомпонентных системах. Основные цели доклада это познакомить слушателей с многообразием вариантов решения задач мониторинга и представить текущий подход Яндекс.Маркета к решению этой задачи.

Transcript

1. “Серебряная пуля” для мониторинга многокомпонентных приложений, построенных на JVM и других платформах Владимир Красильщик, Dino Systems SECR 2018, Москва
2. Обо мне !2
3. Обо мне !3
4. О чем этот доклад !4
5. О чем этот доклад !4 • ~104 гетерогенных микросервисов (компонентов)
6. О чем этот доклад !4 • ~104 гетерогенных микросервисов (компонентов) • Штатные нефункциональные и бизнес показатели
7. О чем этот доклад !4 • ~104 гетерогенных микросервисов (компонентов) • Штатные нефункциональные и бизнес показатели • Деградации, поломки, (не)приятные неожиданности
8. Для кого этот доклад !5
9. Для кого этот доклад !5 • Ответственные за компоненты
10. Для кого этот доклад !5 • Ответственные за компоненты • Разработчики и инженеры по качеству
11. Для кого этот доклад !5 • Ответственные за компоненты • Разработчики и инженеры по качеству • Дежурные, поддержка
12. Для кого этот доклад !5 • Ответственные за компоненты • Разработчики и инженеры по качеству • Дежурные, поддержка • Product owners, менеджеры
13. Для кого этот доклад !5 • Ответственные за компоненты • Разработчики и инженеры по качеству • Дежурные, поддержка • Product owners, менеджеры • Аналитики
14. План доклада !6
15. План доклада !6 • Быстро разбираемся что же такое APM и BTM
16. План доклада !6 • Быстро разбираемся что же такое APM и BTM • Поиски “серебряной пули”
17. План доклада !6 • Быстро разбираемся что же такое APM и BTM • Поиски “серебряной пули” • Рекомендации
18. Объекты мониторинга !7
19. Объекты мониторинга !7 железо и сеть
20. Объекты мониторинга !7 железо и сеть микросервисы
21. Объекты мониторинга !7 железо и сеть микросервисы транзакции
22. Объекты мониторинга !7 железо и сеть микросервисы транзакции APM
23. Объекты мониторинга !7 железо и сеть микросервисы транзакции BTM APM
24. Объекты мониторинга !8
25. Объекты мониторинга !8
26. Объекты мониторинга !8
27. Объекты мониторинга !8
28. Объекты мониторинга !8
29. Объекты мониторинга !8
30. Объекты мониторинга !8
31. Объекты мониторинга !8
32. Объекты мониторинга !8
33. Объекты мониторинга !8
34. Объекты мониторинга !8
35. Объекты мониторинга !8
36. Объекты мониторинга !8
37. Объекты мониторинга !8 APM
38. Объекты мониторинга !8 APM
39. Объекты мониторинга !8 APM t
40. Объекты мониторинга !8 APM t BTM
41. Объекты мониторинга !9 APM t BTM
42. !10 Объекты мониторинга
43. !11 Объекты мониторинга
44. !12
45. Первая кровь !13
46. Первая кровь !13 • 2010 г., инвестиционный банкинг
47. Первая кровь !13 • 2010 г., инвестиционный банкинг • 40+ микросервисов, java
48. Первая кровь !13 • 2010 г., инвестиционный банкинг • 40+ микросервисов, java • Не знаем как дела в проде
49. Первая кровь !13 • 2010 г., инвестиционный банкинг • 40+ микросервисов, java • Не знаем как дела в проде • Не знаем как дела в тестинге
50. ITRS Geneos !14
51. ITRS Geneos !14
52. ITRS Geneos !14 app
53. ITRS Geneos !14 app
54. ITRS Geneos !14 app
55. ITRS Geneos !14 app
56. ITRS Geneos !14 app
57. ITRS Geneos !14 app
58. ITRS Geneos !14 app
59. ITRS Geneos !14 app
60. ITRS Geneos !14 app
61. ITRS Geneos !14 app
62. ITRS Geneos !14 app
63. ITRS Geneos !14 app
64. ITRS Geneos !14 app
65. ITRS Geneos !14 app
66. ITRS Geneos !14 app
67. ITRS Geneos !15
68. ITRS Geneos !15 парсинг логов и поиск паттернов
69. ITRS Geneos !15 • log.warn(Alert.AMBER + “Be ready to fail soon, dude”, e) log.error(Alert.RED + “Something very bad happened”, e) парсинг логов и поиск паттернов
70. ITRS Geneos !15 • log.warn(Alert.AMBER + “Be ready to fail soon, dude”, e) log.error(Alert.RED + “Something very bad happened”, e) • Runtime.getRuntime().freeMemory()/(1024*1024), Runtime.getRuntime().totalMemory()/(1024*1024) парсинг логов и поиск паттернов
71. ITRS Geneos !15 • log.warn(Alert.AMBER + “Be ready to fail soon, dude”, e) log.error(Alert.RED + “Something very bad happened”, e) • Runtime.getRuntime().freeMemory()/(1024*1024), Runtime.getRuntime().totalMemory()/(1024*1024) • Размеры очередей в Executor-ах парсинг логов и поиск паттернов
72. ITRS Geneos !15 • log.warn(Alert.AMBER + “Be ready to fail soon, dude”, e) log.error(Alert.RED + “Something very bad happened”, e) • Runtime.getRuntime().freeMemory()/(1024*1024), Runtime.getRuntime().totalMemory()/(1024*1024) • Размеры очередей в Executor-ах • Счётчики открытых файловых дескрипторов парсинг логов и поиск паттернов
73. !16
74. !17
75. Основные критерии “серебряной пули” !18
76. Основные критерии “серебряной пули” !18 • Цена
77. Основные критерии “серебряной пули” !18 • Цена • SaaS vs On-premise
78. Основные критерии “серебряной пули” !18 • Цена • SaaS vs On-premise • Степень инвазии
79. Степени инвазии !19
80. Степени инвазии !19 0 - ничего не требуется
81. Степени инвазии !19 0 - ничего не требуется 1 - установить сервер
82. Степени инвазии !19 0 - ничего не требуется 1 - установить сервер 2 - установить сервер + агент на каждый комп
83. Степени инвазии !19 0 - ничего не требуется 1 - установить сервер 2 - установить сервер + агент на каждый комп 3 - установить сервер + агент на каждый микросервис
84. Степени инвазии !19 0 - ничего не требуется 1 - установить сервер 2 - установить сервер + агент на каждый комп 3 - установить сервер + агент на каждый микросервис 4 - установить сервер + изменение кода микросервисов
85. !20
86. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21
87. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21
88. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
89. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
90. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
91. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
92. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
93. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
94. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
95. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
96. Гонка вооружения / Первый круг / Hyperic HQ, Nagios XI !21 app
97. Гонка вооружения / Второй круг / AppDynamics, New Relic !22 app app app
98. Гонка вооружения / Третий круг / MoSKito !23 app app app
99. !24
100. DIY = Do It Yourself !25
101. DIY = Do It Yourself !26
102. DIY = Do It Yourself !26 • Хотим единый экран с “лампочками”
103. DIY = Do It Yourself !26 • Хотим единый экран с “лампочками” • Веб, просто разрабатывать, просто поддерживать
104. DIY = Do It Yourself !26 • Хотим единый экран с “лампочками” • Веб, просто разрабатывать, просто поддерживать • Не хотим устанавливать агенты на компы
105. DIY = Do It Yourself !26 • Хотим единый экран с “лампочками” • Веб, просто разрабатывать, просто поддерживать • Не хотим устанавливать агенты на компы • Не хотим инструментировать микросервисы
106. DIY = Do It Yourself !26 • Хотим единый экран с “лампочками” • Веб, просто разрабатывать, просто поддерживать • Не хотим устанавливать агенты на компы • Не хотим инструментировать микросервисы • Не хотим менять код микросервисов
107. Status Screen !27
108. Status Screen !28
109. Status Screen !29
110. Status Screen !30
111. !31
112. !32
113. Drozd !33
114. Drozd !33 • Intellij IDEA plugin
115. Drozd !33 • Intellij IDEA plugin • ssh, jdk 1.6+
116. Drozd !33 • Intellij IDEA plugin • ssh, jdk 1.6+ • gridkit (nanocloud)
117. Drozd !33 • Intellij IDEA plugin • ssh, jdk 1.6+ • gridkit (nanocloud) • com.sun.tools.attach.*
118. !34
119. !35
120. !36
121. !37
122. Нефункциональные показатели http компонентов !38
123. Нефункциональные показатели http компонентов !38 • RPS
124. Нефункциональные показатели http компонентов !38 • RPS • Timings
125. Нефункциональные показатели http компонентов !38 • RPS • Timings • Errors
126. Нефункциональные показатели http компонентов !38 • RPS • Timings • Errors • 500-ки
127. !39 Нефункциональные показатели http компонентов
128. !39 app Нефункциональные показатели http компонентов
129. !39 app client Нефункциональные показатели http компонентов
130. !39 app nginx client Нефункциональные показатели http компонентов
131. !39 app nginx client Нефункциональные показатели http компонентов
132. !39 app nginx client Нефункциональные показатели http компонентов
133. !39 app nginx client Нефункциональные показатели http компонентов
134. !39 app nginx client access.log Нефункциональные показатели http компонентов
135. !39 app nginx client access.log push Нефункциональные показатели http компонентов
136. !39 app nginx client access.log push Нефункциональные показатели http компонентов
137. !39 app nginx client access.log push Нефункциональные показатели http компонентов
138. !39 app nginx client access.log push Kafka Нефункциональные показатели http компонентов
139. !39 app nginx client access.log push Kafka Нефункциональные показатели http компонентов
140. !39 app nginx client access.log push Kafka store Нефункциональные показатели http компонентов
141. !39 app nginx client access.log push Kafka store Нефункциональные показатели http компонентов
142. !39 ClickHouse app nginx client access.log push Kafka store Нефункциональные показатели http компонентов
143. !40 Нефункциональные показатели http компонентов
144. !40 • access.log - tskv формат:
 timestamp=2018-10-13T13:10:01.123 url=/someurl method=POST code=200 resp_time=123 host=a1.b1.c1.com Нефункциональные показатели http компонентов
145. !40 • access.log - tskv формат:
 timestamp=2018-10-13T13:10:01.123 url=/someurl method=POST code=200 resp_time=123 host=a1.b1.c1.com • Конфигурации store: DC, host, имя файла, как разложить tskv в таблицу в ClickHouse Нефункциональные показатели http компонентов
146. !41 Нефункциональные показатели http компонентов
147. !41 ClickHouse Нефункциональные показатели http компонентов
148. !41 ClickHouse Нефункциональные показатели http компонентов
149. !41 ClickHouse agg Нефункциональные показатели http компонентов
150. !41 ClickHouse agg Нефункциональные показатели http компонентов
151. !41 ClickHouse graphite agg Нефункциональные показатели http компонентов
152. !41 ClickHouse graphite agg graphana Нефункциональные показатели http компонентов
153. !41 ClickHouse graphite agg graphana Нефункциональные показатели http компонентов
154. !41 ClickHouse graphite agg graphana Нефункциональные показатели http компонентов
155. !41 ClickHouse graphite agg graphana alert Нефункциональные показатели http компонентов
156. !42 Нефункциональные показатели http компонентов
157. !42 • Конфигурации agg: как агрегировать данные из ClickHouse (DC, code, период) Нефункциональные показатели http компонентов
158. !42 • Конфигурации agg: как агрегировать данные из ClickHouse (DC, code, период) • Конфигурации agg: отсечки на значения, генерятся события и отправляются в alert Нефункциональные показатели http компонентов
159. !43 Нефункциональные показатели http компонентов
160. !43 alert Нефункциональные показатели http компонентов
161. !43 alert Нефункциональные показатели http компонентов
162. !43 tg alert Нефункциональные показатели http компонентов
163. !43 tg alert Нефункциональные показатели http компонентов
164. !43 mail tg alert Нефункциональные показатели http компонентов
165. !43 mail tg alert Нефункциональные показатели http компонентов
166. !43 mail tg alert phone Нефункциональные показатели http компонентов
167. !44 Функциональные показатели http компонентов
168. !44 • Продажи в моменте: количество и прибыль Функциональные показатели http компонентов
169. !44 • Продажи в моменте: количество и прибыль • Средняя стоимость услуги в моменте Функциональные показатели http компонентов
170. !45 CH app nginx client access.log push Kafka store gra phite agg gra phana alert Функциональные показатели http компонентов
171. Трассировка !46
172. Трассировка !47 t BTM
173. Трассировка !48
174. Трассировка !48 app
175. Трассировка !48 app
176. Трассировка !48 app trace.log
177. Трассировка !48 app trace.log push
178. Трассировка !48 app trace.log push
179. Трассировка !48 app trace.log push
180. Трассировка !48 app trace.log push Kafka
181. Трассировка !48 app trace.log push Kafka
182. Трассировка !48 app trace.log push Kafka store
183. Трассировка !48 app trace.log push Kafka store
184. Трассировка !48 ClickHouse app trace.log push Kafka store
185. Трассировка !49
186. Трассировка !49 • trace.log - tskv формат:
 timestamp=2018-10-13T13:10:01.123 url=/someurl method=POST code=200 resp_time=123 host=a1.b1.c1.com req_id=12345/1/2/3 source=app target=app2
187. Трассировка !49 • trace.log - tskv формат:
 timestamp=2018-10-13T13:10:01.123 url=/someurl method=POST code=200 resp_time=123 host=a1.b1.c1.com req_id=12345/1/2/3 source=app target=app2 • В ClickHouse единая таблица для всех логов!
188. !50
189. !51
190. !52 Состояние данных в базе
191. !52 Состояние данных в базе DB
192. !52 Состояние данных в базе DB view
193. !52 Состояние данных в базе DB view view
194. !52 Состояние данных в базе DB view view view
195. !52 Состояние данных в базе DB view mon view view
196. !52 Состояние данных в базе DB view mon view view
197. !52 Состояние данных в базе DB view mon view view
198. !52 Состояние данных в базе DB view mon alert view view
199. !53 Состояние процессов
200. !53 Состояние процессов app
201. !53 Состояние процессов script app
202. !53 Состояние процессов script script app
203. !53 Состояние процессов script script script app
204. !53 Состояние процессов script mon script script app
205. !53 Состояние процессов script mon script script app
206. !53 Состояние процессов script mon script script app
207. !53 Состояние процессов script mon alert script script app
208. !54 Квоты S3 YT mon alert
209. !55 Встроенное здоровье mon alert app app app
210. !56
211. Примеры !57
212. Примеры !57 1. Рост ошибок == релиз соседней команды
213. Примеры !57 1. Рост ошибок == релиз соседней команды 2. Падение продаж == отказ датацентра
214. Примеры !57 1. Рост ошибок == релиз соседней команды 2. Падение продаж == отказ датацентра 3. Падение продаж == отказ push
215. Примеры !57 1. Рост ошибок == релиз соседней команды 2. Падение продаж == отказ датацентра 3. Падение продаж == отказ push 4. Резкий рост продаж == релиз соседней команды с фиксом
216. Примеры !57 1. Рост ошибок == релиз соседней команды 2. Падение продаж == отказ датацентра 3. Падение продаж == отказ push 4. Резкий рост продаж == релиз соседней команды с фиксом 5. Средняя цена клика перестала считаться == “пробой потолка”
217. Итоги !58
218. Итоги !58 • Есть готовые “коробки” для APM и BTM
219. Итоги !58 • Есть готовые “коробки” для APM и BTM • DIY == log - Kafka - ClickHouse - graphite
220. Итоги !58 • Есть готовые “коробки” для APM и BTM • DIY == log - Kafka - ClickHouse - graphite • Трассировка (общая и внутренняя): логи, сквозной req_id
221. Итоги !58 • Есть готовые “коробки” для APM и BTM • DIY == log - Kafka - ClickHouse - graphite • Трассировка (общая и внутренняя): логи, сквозной req_id • Формат tskv
222. Итоги !58 • Есть готовые “коробки” для APM и BTM • DIY == log - Kafka - ClickHouse - graphite • Трассировка (общая и внутренняя): логи, сквозной req_id • Формат tskv • Мощный мониторинг == инфраструктура || сильная инвазия
223. Итоги !58 • Есть готовые “коробки” для APM и BTM • DIY == log - Kafka - ClickHouse - graphite • Трассировка (общая и внутренняя): логи, сквозной req_id • Формат tskv • Мощный мониторинг == инфраструктура || сильная инвазия • “Серебряная пуля” == арсенал специализированных инструментов + единый канал для алертов
224. !59 vladimir.krasilschik@gmail.com @dyer_the Владимир Красильщик, Dino Systems SECR 2018, Москва