Observabilidade e resposta a incidentes: construindo uma cultura que escala [QCon SP 2019 Community Night]

Não há como atender milhões de clientes e evoluir nossos produtos se não conseguirmos manter a estabilidade dos nossos sistemas. No Nubank, acreditamos que este é um problema de software e de cultura: Software para evitar incidentes e, quando eles acontecerem, mitigar, entender e resolvê-los.

Venha conhecer o que usamos para detectar incidentes e agir sobre eles, o que fizemos para que todos possam usar essas ferramentas sem precisarem ser especialistas em monitoramento e como criamos oportunidades fascinantes para aprender com nossas falhas e garantir que todos se sintam confortáveis para evoluir o Nubank em escalas cada vez maiores.

Transcript

1. OBSERV ABILIDADE& RESPOST AAINCIDENTES CONSTRUINDO UMA CULTURA QUE ESCALA ALEXANDRECISNEIROS ERICYOSHIMURA
2. observabilidade OU SEJA: 
 OQUEESTÁACONTECENDO? “Observabilidade, na teoria de controle, é uma medida quão bem podem os estados de um sistema ser inferidos a partir do conhecimento de suas saídas externas.” OBSERVABILIDADE | O QUÊ?
3. por que nos importamos? QUEREMOSTOMARRISCOSCALCULADOS
 PARACRESCERRAPIDAMENTE COMSEGURANÇA OBSERVABILIDADE | POR QUÊ?
4. ~250 MICROSSERVIÇOS ~240 PESSOAS NA ENGENHARIA DE SOFTWARE >1B >8.5M REQUISIÇÕES/DIA CLIENTES NUBANK | COMPLEXIDADE
5. |LOGS AGREGADOS |MÉTRICAS EM TEMPO REAL |ALERTAS E ON-CALL |TRACING DISTRIBUIDO FERRAMENTAS | TIPOS
6. Prometheus: coleta de métricas, armazenamento e consultas. FERRAMENTAS | MÉTRICAS
7. FERRAMENTAS | MÉTRICAS Thanos: agregação de consultas em múltiplos Prometheus, permitindo alta disponibilidade e agregações.
8. Alertmanager: avalia consultas e dispara alertas baseado em limiares. FERRAMENTAS | ALERTAS
9. Splunk: agregação de logs, consulta e monitoramento baseado no conteúdo dos logs. FERRAMENTAS | LOGS
10. Jaeger: tracing distribuido para monitorar sistemas distribuidos FERRAMENTAS | TRACING
11. ferramentas não são a solução! PRECISAMOSCRIARUMACUL TURA FERRAMENTAS | CULTURA
12. Instrumentar coisas precisa ser fácil! CRIANDO
 uma
 cultura 1 Faça com que tudo por padrão já venha instrumentado 2 Automatize o máximo possível 3 Documente como customizar
13. CULTURA | INSTRUMENTAÇÃO 1 Faça com que tudo por padrão já venha instrumentado "#" !"#" !"#"
14. CULTURA | INSTRUMENTAÇÃO 2 Automatize o máximo possível $$$ $$$$ $$$$
15. CULTURA | INSTRUMENTAÇÃO 3 Documente como customizar &'( %&'( %&'(
16. Defina maneiras padronizadas de medição! CRIANDO
 uma
 cultura 1 Use unidades de medida de maneira consistente 2 Crie padrões de nomenclaturas de métricas e dimensões 3 Padronize funções de agregação
17. Tenha um protocolo de resposta a incidentes CRIANDO
 uma
 cultura 1 Defina um canal de comunicação bem visível 2 Deixe claro os papeis existentes na resolução do problema 3 Incentive investigações para aprendizado e melhorias, sem culpas
18. CULTURA | RESPOSTA A INCIDENTES 1 Defina um canal de comunicação bem visível #CRASH
19. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
20. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
21. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
22. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
23. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
24. CULTURA | RESPOSTA A INCIDENTES 2 Deixe claro os papeis existentes na resolução do problema )*+☝ #CRASH
25. CULTURA | RESPOSTA A INCIDENTES --- ---- ---- 3 Incentive investigações para aprendizado e melhorias, sem culpas RESUMODOINCIDENTE IMPACTONONEGÓCIO LIÇÕESAPRENDIDAS CAUSARAIZ AÇÕESFUTURAS
26. A L E R T A S REALMENTE
 ÚTEIS RESULTADOS | ALERTAS
27. A L E R T A S REALMENTE
 ÚTEIS RESULTADOS | ALERTAS
28. A L E R T A S REALMENTE
 ÚTEIS RESULTADOS | ALERTAS
29. A L E R T A S REALMENTE
 ÚTEIS RESULTADOS | ALERTAS
30. BUSINESS ANALYST 
 ACQUISITION ENGINEER 
 ACQUISITION XPECIALIST
 ACQUISITION ENGINEER 
 NUCONTA TM 
 ACQUISITION ENGINEER 
 ACQUISITION ENGINEER 
 CM SWAT
 ACQUISITION P R O T O C O L O DERESPOSTA
 AINCIDENTES RESULTADOS | INCIDENTES
31. P O S T MORTEM
 REVIEW RESULTADOS | POST MORTEMS
32. DICA: NÃO SUBESTIME O TRABALHO DE ROLLOUT E O PODER DA AUTOMAÇÃO. comece cedo!
33. definaseu
 escopo! DICA: VOCÊ NÃO NECESSARIAMENTE PRECISA DE TODAS ESSAS FERRAMENTAS PARA COMEÇAR. MÉTRICAS E LOGS SÃO UM BOM PONTO DE PARTIDA.
34. DICA: NÃO CONCENTRE O TRABALHO NUMA PESSOA OU NUMA EQUIPE, DESENVOLVA A PLATAFORMA PARA TODOS façapara escalar!
35. alexandre.cisneiros@nu.bank eric.yoshimura@nu.bank PERGUNTAS & FEEDBACK ESTAMOS CONTRATANDO! sou.nu/jobs-at-nubank fale conosco no coffee :) obrigado!