Domando os logs

Slides de minha apresentação no TDC 2015 na trilha de DevOps sobre logs.

Transcript

1. Domando os logs
4. Logs
5. Logs • Registros/eventos -> arquivo
6. Logs • Registros/eventos -> arquivo stream/fluxo
7. Múltiplas streams, múltiplas fontes
8. Centralização • Unifica logs da mesma stream • Permite correlacionar streams diferentes • Histórico • (SSH + tail -f | grep) * 5 • Segurança (+ difícil eliminar rastros) • Compliance
9. Como?
10. Os 3 tipos de log • Erros/exceções de aplicações • Logs em geral • Métricas
11. MUITAS soluções, a ideal depende do seu cenário
12. Log de exceções de aplicações
13. O que ganho com isso? • Agrupamento • Controle de regressão • Alertas de fábrica • Contexto
15. Soluções • Sentry • Airbrake (Errbit) • Ambas OSS + SaaS
16. Logs em geral
17. • Coleta • Processamento • Armazenagem • Visualização
18. Algumas soluções • Splunk/Graylog • ELK (Elasticsearch + Logstash* + Kibana) • SaaS (Papertrail, Loggly, Logentries etc)
19. Soluções SaaS • Coleta • Processamento • Armazenagem • Visualização • mais rápido • mais simples • menos flexível
20. Soluções “em casa” • Coleta • Processamento • Armazenagem • Visualização • mais flexível • mais recursos • menor custo em larga escala • maior custo em pequena escala • leva mais tempo para implantar
21. Coleta • Syslog: língua comum • TCP SEMPRE • Garantia de entrega? Protocolos específicos (RELP, GELF, Lumberjack) • Coletor próprio de sua solução escolhida • Logs em JSON?
22. Processamento • Logstash/Heka/Fluentd (processadores) • Graylog/Splunk (soluções completas)
23. Armazenagem • BDs: Elasticsearch, MongoDB, PostgreSQL • Brokers: RabbitMQ, Redis • Arquivos, S3
24. Visualização • Depende dos outros itens • Elasticsearch: Kibana • Graylog/Splunk: painéis próprios
25. Como fica
27. Combine as ferramentas
28. Crie ambientes paralelos
29. obrigado! Hernandes B. de Sousa @hernandes | hernandes.sousa@gmail.com about.me/hernandesbsousa