Chaos Engineering

A arte de quebrar coisas propositalmente. Uma jornada para tornar seu serviço mais resiliente.

Transcript

1. CAPPTA TECH MEETUP A arte de quebrar coisas propositalmente ENGENHARIA DO CAOS Cappta tech meetup • Set. 26, 2019 Cappta tech meetup • Set. 26, 2019 Cappta tech meetup • Set. 26, 2019
2. Cappta tech meetup • Set. 26, 2019 /valescafortunato Valesca fortunato IT Leader Na Cappta @sysadminas
3. Agenda Engenharia do Caos - O que é? - Onde tudo começou? - Os pré requisitos - Os 4 princípios - Por onde começar? - Links e referências Cappta tech meetup • Set. 26, 2019
4. O que é ? Cappta tech meetup • Set. 26, 2019
5. Cappta tech meetup • Set. 26, 2019 “Engenharia do Caos é a disciplina de realizar experimentos sobre sistemas distribuídos com o intuito de construir confiança com relação a capacidade de um sistema distribuído suportar condições adversas em produção.” HTTP://PRINCIPLESOFCHAOS.ORG
6. Onde tudo começou? Cappta tech meetup • Set. 26, 2019
7. Linha do tempo Engenharia do Caos 2002 Jesse Robins, Master of Disaster na Amazon.com 2010 Greg Orzell implementa o Chaos Monkey na Netflix 2012 NetflixOSS - Open Source Simian Army Cappta tech meetup • Set. 26, 2019 2017 Livro Chaos Engineering e Chaos Toolkit (open source) 2018 O conceito ganha força
8. Cappta tech meetup • Set. 26, 2019 “Engenharia do caos é um experimento para garantir que o impacto de falhas sejam mitigados.” - Cockcroft, Adrian FONTE: AWS RE:INVENT 2018 TALK ON CHAOS ENGINEERING
9. os pré requisitos Cappta tech meetup • Set. 26, 2019
10. Cappta tech meetup • Set. 26, 2019 Construir sistemas resilientes não é só sobre software. FONTE: MEDIUM.COM/@ADHORN
11. Pré requisitos SOFTWARE Certificado expirado Memory leak Licenças Versionamento INFRAESTRUTURA Redundância/MultiAZ Self-healing Bulkheads/silos IaC APLICAÇÕES Retentativas Dependências Exception Handling OPERAÇÕES Monitoramento e observalidade Resposta a incidente Métricas, métricas e métricas Cappta tech meetup • Set. 26, 2019
12. os 4 princípios Cappta tech meetup • Set. 26, 2019
13. 1 - Defina o “Sistema estável” Cappta tech meetup • Set. 26, 2019
14. Cappta tech meetup • Set. 26, 2019 Métricas (de tudo): - Metas operacionais - Experiência do cliente Padrões preditivos Exemplos: Amazon = número de pedidos Netflix = SPS (start per second)
15. 2 - Defina as hipóteses Cappta tech meetup • Set. 26, 2019
16. Cappta tech meetup • Set. 26, 2019 E se... ... o Datacenter pegar fogo? ... o ELK morrer? ... a Cielo explodir? ... o container da Api de transação for apagado? ... o AzureDevOps ficar fora do ar? ... o Andy ganhar na Megasena?
17. 3 - execute o experimento Cappta tech meetup • Set. 26, 2019
18. Cappta tech meetup • Set. 26, 2019 Escolha uma hipótese Defina o escopo Identifique quais são os riscos e as métricas relevantes Notifique a companhia
19. 4 - Tente refutar as hipóteses Cappta tech meetup • Set. 26, 2019
20. Cappta tech meetup • Set. 26, 2019 Aprenda com o processo: - Quanto tempo para detecção? - Quanto tempo para notificação? - Quanto tempo para resolução? Parcial? Completa? - Quanto tempo para iniciar a degradação do estado estável?
21. Cappta tech meetup • Set. 26, 2019 Postmortem! Sempre e para todas as situações de falha.
22. Cappta tech meetup • Set. 26, 2019 Priorize as correções!
23. Cappta tech meetup • Set. 26, 2019 Cappta tech meetup • Set. 26, 2019 Cappta tech meetup • Set. 26, 2019 "Você deve conhecer o passado para entender o futuro" CARL SAGAN Cantinho da reflexão
24. Por onde começar? Cappta tech meetup • Set. 26, 2019
25. Cappta tech meetup • Set. 26, 2019 Começe pequeno e ganhe confiança dos times e da companhia aos poucos!
26. Cappta tech meetup • Set. 26, 2019 LINKS E REFERÊNCIAS: https://medium.com/@adhorn/chaos- engineering-ab0cc9fbd12a https://www.youtube.com/watch? v=B1nUzbuVEUs&feature=youtu.be&t=401 https://medium.com/netflix- techblog/the-netflix-simian-army- 16e57fbab116 (123) 456 7890 Obrigada!