Postmortem: Aprendendo com falhas

Esta apresentação apresentada a cultura de Postmortem e como ela pode nos ajudar a aprender com as falhas. Iremos discutir algumas das boas práticas e desafios para escrever um postmortem de alta qualidade além de como esta cultura vem ajudando a melhorar nossos processos e a qualidade dos serviços aqui na ContaAzul.

Transcript

1. Postmortem Aprendendo com falhas
2. 2 Diogo Nicoleti SRE @ ContaAzul @diogonicoleti diogo.nicoleti@contaazul.com
3. Agenda • Falhas • Postmortem 101 • Postmortem como cultura • Blameless • Boas práticas • Postmortem @ ContaAzul 3
4. Falhas são naturais e você não pode evitar elas.
5. Mas podemos reduzir seus impactos e frequência.
6. 6 Uma falha não é um desastre, é uma oportunidade de aprendizagem.
7. Postmortem 101 Um postmortem é um registro escrito de um incidente, seus impactos, as ações tomadas para mitigar e resolver ele, as causas raízes e as ações de follow-up para prevenir que este incidente ocorra novamente. 7
8. Postmortem 101 Os principais objetivos de escrever um postmortem são: • Garantir que o incidente seja documentado • Entender bem todas as causas raízes • Implementar ações preventivas para reduzir a probabilidade e/ou o impacto da recorrência. • Compartilhar as aprendizagens com outras pessoas 8
9. Postmortem como Cultura Introduzir a cultura de postmortem pode ser mais fácil falar do que fazer! Ela requer engajamento e cultivo contínuo entre as pessoas. 9
10. Postmortem como Cultura As pessoas precisam perceber o valor entregue dado o custo de preparo! Lembre-se! Postmortem é uma oportunidade de aprendizagem, tornar nossos sistemas melhores e nossos clientes mais felizes! 10
11. Postmortem como Cultura O ponto mais importante para que a cultura funcione é o princípio de blameless postmortem. Lembre-se! O objetivo é aprender e evoluir e não encontrar culpados! 11
12. 12 Antes de falar de blameless postmortem precisamos entender porque o ciclo de name/blame/shame é nocivo: Blameless Postmortem
13. 13 Blameless postmortem procuram ver os equívocos, erros, deslizes, et al. com uma perspectiva de aprendizagem e não uma forma de punir pessoas. Blameless Postmortem
14. 14 Mas então os engenheiros estão “off the hook” com um processo de Blameless Postmortem?
15. 15 Pelo contrário! Eles estão “on the hook” porém ajudando a tornar sua empresa e sistemas mais seguros e resilientes no final do dia. Mas então os engenheiros estão “off the hook” com um processo de Blameless Postmortem?
16. 16 Eles são as pessoas que possuem o maior conhecimento sobre o incidente e que identificaram falhas em sistemas e processos. E eles podem dar todos os detalhes dos eventos ocorridos quando não existe o medo de punição.
17. Erros humanos nunca são as causas raízes
18. 18 Você não pode consertar pessoas, mas você pode consertar sistemas e processos para melhor suportá-los.
19. Boas práticas
20. 20 Evite culpar e mantenha o processo construtivo Boas práticas • Processo blameless • Confidência em escrever os postmortems sem medo • Todo mundo deve escrever • Evitar esconder os problemas “em baixo do tapete”
21. 21 Não existe apenas uma causa raíz • Erro humano nunca é uma causa raiz • Causas raízes são uma série de eventos • Foco no ambiente, processos e circunstâncias em que as pessoas trabalham • Técnicas como 5-Why, Infinite Hows, brain • Fazer as perguntas corretas Boas práticas
22. 22 Crie um plano de ação balanceado e concreto • Ações balanceadas • Não resolva somente os sintomas e sim o problema na causa raiz • Remova (ou reduza) a habilidade de introduzir erros • Ações além da prevenção: Reduzir MTTD, MTTR e impacto usuários • Evitar postmortem debt Boas práticas
23. 23 Não deixe postmortems abandonados • Um postmortem sem revisão não deveria ter existido • Sessões de revisões • Fácil acesso aos postmortems Boas práticas
24. 24 Colabore e compartilhe o conhecimento adquirido • Colaboração em tempo real • Sistema de comentário e anotações abertos • Notificações Boas práticas
25. 25 Solicite feedback sobre a eficácia do processo • Evolução contínua do processo • Postmortem está sendo eficaz? • Melhores práticas para seu contexto • Ferramentas Boas práticas
26. Como fazemos o processo de postmortem na ContaAzul?
27. 27 Abrimos o postmortem após qualquer incidente ou evento indesejável Como fazemos o processo de postmortem na ContaAzul? • Indisponibilidade de serviços • Degradação de performance • Perda de dados • Intervenção do engenheiro on-call • Liberações com bugs • Falhas no monitoramento
28. 28 Utilizamos um repositório do Github para colaboração e visibilidade Como fazemos o processo de postmortem na ContaAzul? • Permite que todos possam comentar e visualizar em tempo real • Engenheiros podem realizar o watch e serem notificados • Guidelines para escrever
29. 29 Possuímos um template para postmortem Como fazemos o processo de postmortem na ContaAzul? • Facilitar e orientar na escrita dos postmortems • Cobrir os pontos principais
30. 30 Plano de Ações Como fazemos o processo de postmortem na ContaAzul? • Categorizadas em: ◦ Mitigação ◦ Melhorias de processos ◦ Prevenção ◦ Outras • Links para as issues • Ownership
31. Demostração
32. 32 Uma falha não é um desastre, é uma oportunidade de aprendizagem para toda a empresa.
33. Dúvidas?
34. Obrigado! Estamos contratando! https://contaazul.com/carreiras/vagas Nosso blog de engenharia https://engineering.contaazul.com