Всё стабильно нестабильно — как мы с этим боролись

Вячеслав Валявский, Магнит OMNI

Transcript

1. Все стабильно 
 нестабильно Валявский Вячеслав Magnit - SRE TL
 Avito - Infrastructure Engineer
 Delivery Club - Platform
 Wargaming - Dev/Devops
 Mirantis - Dev/DevOps 1
2. 2 Кому будет интересен доклад Если: хотите быстрее разбираться 
 в инфраструктурных проблемах облака хотите научиться 
 как можно быстрее локализовывать проблемную зону (датацентр, 
 хост, приложение) ваше облако 
 растянуто сразу 
 на несколько датацентров
3. Какие кейсы сегодня разберем 3 $#Хост 2#Сервис Q#Датацентр 
 или зона доступности
4. 4 Повышенное латенси
5. 5 Повышенное латенси. 
 Зона или хост? Как понять, что проблема 
 с зоной/хостом: прежде чем начинаем обращать внимание на айпишники, теряем много времени 
 на то, чтобы понять, что проблема 
 не в самом сервисе в логах видим ошибки соединений с ip-шниками 
 из одного сетевого сегмента можно, но сложно :( можно, но сложно :(
6. 6 Повышенное латенси. 
 Зона или хост? Какие метрики 
 облегчат нашу жизнь: Что делаем: латенси/количество ошибок 
 для каждого пода/хоста сервиса латенси/количество ошибок 
 для каждого пода/хоста сервиса zone-based hostnames
 (предоставляет облачный провайдер) zone-based hostnames
 (предоставляет облачный провайдер) прокидываем из кубера хост/
 под в лейблы метрик сервиса прокидываем из кубера хост/
 под в лейблы метрик сервиса
7. 7 Повышенное латенси. 
 Зона или хост?
8. 8 Повышенное латенси. 
 Зона или хост?
9. 9 Повышенное латенси.
 Глобальность проблемы Как понять глобальность проблемы: по количеству алертов по количеству алертов по латенси от сервисов по латенси от сервисов по возросшему количеству логов с ошибками по возросшему количеству логов с ошибками можно, но сложно :( можно, но сложно :(
10. 10 Повышенное латенси. 
 Глобальность проблемы Какие метрики облегчат 
 нам жизнь: Что делаем: латенси между зонами латенси между зонами латенси между хостами латенси между хостами ставим Goldpinger ставим Goldpinger собираем метрики Cilium’a собираем метрики Cilium’a
11. 11 Проблемы с зоной доступности. 
 Goldpinger
12. 12 Проблемы с зоной доступности. 
 Goldpinger
13. 13 Проблемы с зоной доступности. 
 Cilium
14. 14 Проблемы с зоной доступности. 
 Глобальность проблемы Итого, что нужно сделать, 
 чтобы сократить время разбора: rt наличие софта, который замеряет латенси между хостами ft в RED метриках сервисов есть лейблы хоста, 
 зоны, пода
15. 15 Повышенное латенси. 
 Зона или хост?
16. 16 Повышенное латенси. 
 Зона или хост?
17. 17 Повышенное латенси. Хост!
18. 18 Проблемы с зоной доступности. 
 А как у хоста дела? вроде бы ничего криминального вроде бы ничего криминального
19. 19 Повышенное латенси. 
 А как у хоста дела? а вот тут уже интересно а вот тут уже интересно
20. 20 Повышенное латенси. Хост! Попробуем пообщаться с сапортом: Итого, наш лимит 
 на сеть для одного хоста: 150K PPS
21. 21 Повышенное латенси. Хост Итого, что нужно сделать, 
 чтобы сократить время разбора: Как можно 
 митигировать проблему: ‚ отдельные 
 нод группы 
 под приложения 
 с высокой сетевой нагрузкой v у ваших хостов всегда есть 
 сетевые лимиты 
 и за ними 
 нужно следить … алертинг 
 при превышении лимитов
22. 22 Повышенное латенси. 
 Зона, хост, сервис или бд?
23. 23 Повышенное латенси. Хост, 
 сервис или бд? Что делать если нет сервисных USE метрик для бд, 
 а на графиках бд все в порядке: посмотреть трассировки
 (если они есть) пытаться 
 что-то понять 
 по ошибкам 
 в логах сервиса
24. 24 Повышенное латенси. Хост, 
 сервис или бд? Какие метрики 
 облегчат нам жизнь: 
 Что делаем: connections idle/max/constructing/etc connections idle/max/constructing/etc acquire duration acquire duration пишем обертку для библиотеки 
 pgxpool и добавляем USE метрики пишем обертку для библиотеки 
 pgxpool и добавляем USE метрики acquire count/canceled count/etc acquire count/canceled count/etc duration/rate/errors by operation duration/rate/errors by operation превращаем метрики 
 в спаны с помощью OtelCollector превращаем метрики 
 в спаны с помощью OtelCollector
25. 25 USE метрики pgx
26. 26 Повышенное латенси. Это база!
27. 27 OpenTelemetry Collector. 
 Metrics from spans
28. 28 OpenTelemetry Collector. 
 Postgres
29. 29 OpenTelemetry Collector. 
 [Bonus] Redis
30. 30 Повышенное латенси. 
 Хост, сервис или бд? Итого, что нужно сделать, 
 чтобы сократить время разбора: wr превращаем метрики в спаны 
 с помощью OtelCollector id пишем обертку 
 для библиотеки pgxpool 
 и добавляем 
 USE метрики
31. 31 Резюме Итого: 5' узнайте свои сетевые лимиты 
 по железкам/ виртуалкам 
 и мониторьте их g' USE/RED метрики для инфра- зависимостей позволяют сократить время расследований …' используйте 
 туллинг, который позволит вам 
 видеть глобальные тайминги на сети
32. 32 Светлое будущее Большие цели: A7 автодетектирова ние и автобан болеющих нод f7 автоматический сбор сервисов критического пути 
 и визуализации 
 в виде бизнес процессов
33. Спасибо 
 за внимание! Валявский Вячеслав
 SRE TeamLead 
 тг: @slav0chka 33