Luccas Quadros: Além do tail -f: Análise inteligente de logs para detecção de anomalias

Palestra realizada no DevOpsDays Florianópolis 2023

Transcript

1. Luccas Quadros Engenheiro de Software Sr. AI/ML Além do tail -f: Análise inteligente de logs para detecção de anomalias
2. Logs
3. Os primeiros logs da história
4. Logs na era da cibernética https://brandur.org/logfmt - Primeira documentação de logfmt logfmt Em geral, as documentações e os padrões para se escrever logs são escassos. Cabe ao desenvolvedor definir: O que, como e quando.
5. Linguagem natural? é difícil extrair informações importantes do conteúdo da mensagem porque ele é escrito principalmente por desenvolvedores em linguagem natural de formato livre.¹ 1.He, Shilin, et al. "A survey on automated log analysis for reliability engineering." É possível utilizar técnicas de NLP? ?
6. Parte constante x parte variável botioslack: WebhookHandler: Ensure: Computed unexpected signature of: <alphanum>
7. Todos nós já passamos por isso… 😬😬😬😬
10. Nesses momentos, o que realmente nos interessa é: Qual é o "erro" raiz do meu problema.
11. Transformar logs em informações valiosas Logs Grupos Templates Constantes Padrões Variáveis No mundo do NLP isso seria como tokenizar e limpar o texto
12. Desafios ⬆ Grande volume de logs ❓ Diversidade de formatos e templates 🚀 Em constante mudança Criar scripts manuais, regexes mirabolantes e utilizar soluções focadas em tipos específicos de logs não são o suficiente pro mundo dos micro serviços e o desenvolvimento de software moderno.
13. TODO: Exemplo baseline
14. Escolha o seu algoritmo 1.He, Shilin, et al. "A survey on automated log analysis for reliability engineering."
15. Drain
16. Aceitas um pouco de LLM?
17. Nesses momentos, o que realmente nos interessa é: Qual é o "erro" raiz do meu problema.
18. Minerar logs, gostoso demais! 1.He, Shilin, et al. "A survey on automated log analysis for reliability engineering."
19. Diferentes algoritmos 1.He, Shilin, et al. "A survey on automated log analysis for reliability engineering."
20. Boas features geram bons modelos 📊 Contagem de grupos (constantes) ❓ Contagem de parametros (variáveis) ⏩ Sequencia de grupos (constantes) 🪄 Ad-hoc Features
21. 🍺 Bebendo no seu próprio bar Ou "dogfooding"
22. Grafana Alerting Grafana OnCall Grafana Incident O diagrama de um Incidente Parsear Logs Descobrir os grupos Identificar anomalias Logs úteis em uma investigação
23. Receita de bolo Query Comparar: Última 1h X Passado .txt - Capturar logs - Descobrir os templates de erro - Qual o comportamento deste erro? - ✨✨Resultado✨✨
24. Sift Investigations
25. Próximos passos 👀 Sift Investigations está em Public Preview 󰷺 Sequências estranhas 📈 Algoritmos sofisticados de Detecção 🫣 Tempo real?
26. Logs são fundamentais quando o navio está afundando, mas sem minera-los, é melhor trazer uma boia.
27. Bora trocar uma ideia: luccas.quadros@grafana.com Muito obrigado! Perguntas?