Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Lições Aprendidas das 4 Key Metrics (DORA Metrics)

Lições Aprendidas das 4 Key Metrics (DORA Metrics)

Apresentação ministrada no Meetup DevOps Porto.

Vídeo aqui.
https://youtu.be/uQtktPNLu3Y

168c322e7157a4cfffdeb88ab2309e02?s=128

Fernando ike

April 23, 2022
Tweet

More Decks by Fernando ike

Other Decks in Technology

Transcript

  1. Além das 4 Key Metrics

  2. Fernando Ike // linkedin.com/in/fernandoike // twitter.com/fernandoike // pontocafe.fernandoike.com

  3. None
  4. Quando a organização não é de Elite Performance?

  5. 4 Keys Metrics https://unsplash.com/photos/C1P4wHhQbjM

  6. Deploy Frequency For the primary application or service you work

    on, how often does your organization deploy code to production or release it to end users? https://pixabay.com/photos/moto-motorcycling-sport-motorcycles-3406328/
  7. Lead time for changes For the primary application or service

    you work on, what is your lead time for changes (in production) https://pixabay.com/photos/motocycle-racing-race-track-moto-2101565/
  8. Time to restore service For the primary application or service

    you work on, how long does it generally take to restore service when a service incident or a defect that impacts users occurs (unplanned outage) https://pixabay.com/photos/running-marathon-people-sports-6660186/
  9. Change failure rate For the primary application or service you

    work on, what percentage of changes to production or released to users result in degraded service and subsequently require remediation? https://pixabay.com/photos/marathon-competition-sports-running-7111384/
  10. DevOps - 4 Key Metrics Throughput • Deployment frequency •

    Lead time for changes https://pixabay.com/photos/cheetah-animal-wildlife-leopard-2560006/
  11. DevOps - 4 Key Metrics Stability • Time to restore

    service • Change failure rate https://pixabay.com/photos/turtle-reptile-walk-walking-shell-1850190/
  12. https://pixabay.com/pt/photos/puzzle-quebra-cabe%c3%a7a-textura-2204615/ O que as 4 Keys Metrics não são…

  13. O que não são as 4 Keys Metrics Não são

    um objetivo em si Não são as únicas métricas a serem utilizadas Só implementar Kubernetes Só implementar Jenkins como CI/CD
  14. O desafio para coletar as 4 Key Metrics https://pixabay.com/pt/photos/corredor-obst%c3%a1culo-corre-esporte-555074/

  15. Os desafios para obter as 4 key metrics Não há

    visibilidade do Value Stream das equipes e/ou da organização Não há um padrão mínimo Ciclo de Desenvolvimento de Software (Systems Development Life Cycle) Não há um padrão mínimo de Infraestrutura (Ops)
  16. Os desafios para obter as 4 keys metrics Não há

    um padrão mínimo de arquitetura de software ou componentes* Não há incentivo pela liderança de tecnologia em olhar indicadores e métricas de engenharia de software Baixa autonomia para coletar as dados para 4 Keys Metrics
  17. Casos

  18. AI Company - Contexto 100% dos deploys falhavam 90 horas

    MTTR Deploy a cada 15 dias 102 dias para o primeiro release para um cliente Alto acoplamento entre os serviços Sobrecarga de trabalho em parte da equipe
  19. AI Company Critérios de aceitação para cada tarefa Testes automatizado

    para nova funcionalidade Implementação de CI/CD automatizado Roadmap de desenvolvimento dos componentes da plataforma “Framework” Migrations Implementação de observabilidade (Distributed Tracing)
  20. AI Company Arquitetura de software baseada em Domain-Driven Design Trunk-Based

    Development Gerenciamento visual (Kanban) Redistribuição da carga de trabalho para toda equipe Postmortem Premissas ◦ Tornar o onboading mais rápido de novos clientes ◦ Diminuir o Lead Time de novas funcionalidades ◦ Visibilidade de custos por cliente
  21. AI Company - Resultado Crescimento de 500% 60 dias para

    o primeiro release para um cliente MTTR == 90 minutos Lead Time for Changes => Ondemand Deploy Frequency => + 1 por dia 25 milhões de reais na rodada de investimento De 11 para 41 itens do backlog em 30 dias com 80% de certeza
  22. EdTech - Contexto Desenvolver uma plataforma de acompanhamento educacional Contratar

    uma equipe Definir a stack tecnológica Indicadores de performance Criar uma cultura de engenharia e produto do zero
  23. EdTech Criar uma equipe para desenvolver a plataforma Gerenciamento visual

    Arquitetura e stack “viável” baseado no conhecimento da equipe ◦ Containers, Django, PostgreSQL, Nextjs, IaC ◦ CI/CD ◦ Testes unitários, testes de sistema Dojos para aumentar a cobertura de testes Trunk-Based Development
  24. EdTech Framework Migrations Limitação do WIP (Small Batches) Identificação do

    “trabalho estocado” Autonomia (atos de liderança) Cadência de release a cada 15 dias
  25. EdTech - Resultado Desenvolvimento plataforma de cadastro para + 1

    milhão de usuários em 15 dias Identificado o trabalho em estoque (bloqueado) com um total de +500 dias Implementação da plataforma base de gestão e acompanhamento de performance dos estudantes
  26. EdTech - Resultado Deploy Frequency == +1 por dia MTTR

    == 2 Horas Lead Time for Changes == 2 dias
  27. Burnout de equipes Falta de padronização de stack, processos, CI/CD,

    etc. Silos de equipes e serviço (Conway's law) Crescimento acelerado Instituição Financeira - contexto
  28. Instituição Financeira Estruturação das equipes Identificação dos principais gargalos Formação

    de equipes de plataforma Documentação Fornecer serviços Self-service Obter métricas de Engenharia Obter métricas de uso da Plataforma
  29. Fintech - Resultados 3 das 4 Key Metrics Templates de

    Frameworks Internal Developer Platform Implementação de guard-rails padronizados Desenvolvimento de uma Plataforma de CI/CD Padronização da observabilidade
  30. Técnicas, recursos e capacidades https://pixabay.com/pt/photos/m%c3%a3os-megaminx-cubo-de-rubik-cubo-5762539/

  31. Técnicas, recursos e capacidades Loosely coupled architecture Trunk-based development Continuous

    testing Continuous integration Use of open source technologies Monitoring and observability practices
  32. Management of database changes Deployment automation Small Batches Visual management

    capabilities Liderança Técnicas, recursos e capacidades
  33. None
  34. DevOps Capabilities

  35. https://pixabay.com/pt/photos/biblioteca-la-trobe-estude-alunos-1400313/ Outros insights

  36. Onde a organização está? Consegue coletar as 4 keys metrics

    facilmente? Consegue utilizar elas com outros indicadores? ◦ Cycle Time ◦ Blocked Time ◦ Work Item Age ◦ Percentual de trabalho não planejado ◦ Bugs/Defeitos que geram incidentes em produção Qual a dívida técnica principal da organização? Tem mapeado os processos atuais?
  37. Para onde vai? Direcionamento claro do "Futuro" Liderança está patrocinando

    o direcionamento para o futuro? Conceitos e fundamentos como fundação das ferramentas, serviços e plataformas adotadas ou em desenvolvimento
  38. Está na direção certa? (A cada ciclo há) revisão dos

    processos, automoções, e funcionalidade As hipóteses e decisões são baseadas em dados? A organização entende (evolução) que hoje está melhor que ontem?
  39. Equipe autônomas

  40. Conway Law é “…organizações que projetam sistemas (no sentido amplo

    usados aqui) restringem o desenvolvimento dos projetos como cópias da estrutura de comunicação dessas organizações”
  41. Equipes autônomas => Aprendizado Contínuo Feedback Loops ◦ Scrum, Kanban…

    ◦ 3 Way, CAMS… ◦ Postmortem Reviews ◦ PDSA/PDCA
  42. Equipes autônomas => Aprendizado Contínuo % de tempo para aprendizado

    ◦ Dojos ◦ Hackathons ◦ GameDay ◦ Aprendizado Individual ◦ Colaboração com projetos externos (OpenSource)/internos
  43. Equipes autônomas => Aprendizado Contínuo Restrições da organização ◦ Pessoas

    ◦ Orçamento (Dinheiro) ◦ Leis, Procedimentos, Normas, etc.
  44. Referências DORA Research Program DevOps State Report 2021 Accelerate: The

    Science of Lean Software and DevOps Continuous Delivery Kanban DevOps Capabilities Conway Law