Monitoring @ ContaAzul

I spoke about our migration to Prometheus and how it is working for us.

1. Monitoramento @ ContaAzul
2. Carlos Alexandro Becker SRE @ ContaAzul @caarlos0 https://carlosbecker.com
4. Arquitetura de X anos atrás
5. Arquitetura antiga - Crontabs - .sh espalhados por aí - v1 - zabbix - nagios - v2 - collectd - statsd - Librato - email - v3 - Librato - VictorOps - Slack
6. Problemas - Librato: 1m - Cron: 1m - Em menos de 1m atendimento já recebia ligações dos usuários - Librato nos alertava depois de 5m+ - Falta de padrões (nomenclatura e etc) - Alertas criados (ou não) manualmente para cada serviço - Shells aleatórios espalhados aleatoriamente em lugares aleatórios - Queries esquecidas - Muitos falsos positivos - Não tinha prioridade, todos os alertas eram critical
7. tldr: difícil de manter e caótico
8. muitos falsos positivos = alertas sendo ignorados
9. "ahh, esse alerta é normal"
11. Arquitetura Nova
13. Prometheus - Criado originalmente na Soundcloud, vários ex-Google contribuem - segundo projeto a fazer parte da CNCF (junto com k8s) - Granularidade de 1s - Sugerido pelos engenheiros da Google no "SRE bible" - Simples e robusto - Padrões já definidos - Extensível por meio de custom exporters - Service discovery - Federation
15. node_exporter - collectd + collectd_exporter até funcionava - collectd bugado, difícil atualizar, quebrava direto - node_exporter integra direto com o prometheus - baixar e executar um binário com 0 deps
20. Prometheus 2 - melhorias de performance - mudança formato de .rules pra .yaml - resolvido bug antigo de "stale metrics" - N outras melhorias
21. Prometheus 2: upgrade - estamos com o prometheus 1.8.2 e 2.0.0 rodando - prometheus 1 em read-only - prometheus 2 faz "remote read" no prometheus 1 - eventualmente vamos deixar apenas o prometheus 2 rodando https://prometheus.io/docs/prometheus/2.0/migration/
22. Arquitetura
26. Vida de um alerta...
32. Quem estiver on-call - Investiga o incidente - Se for um incidente real resolve e/ou liga pra alguém ajudar a resolver, ajusta status page - Se for um falso-positivo, corrige o alerta
33. O que ganhamos com tudo isso?
34. Ganhamos: - Alertas de CPU/memória/disco e etc automáticos - Processo de pull-request + code review - CI/CD de toda a infraestrutura de monitoramento - Formatação padrão de regras - Mais robustez na definição de alertas e rotas
35. Exemplos
36. CI/CD
39. Alertas
47. Dúvidas?
48. thanks